UMR 7227 - Credal, Université Sorbonne Nouvelle Paris III, Université de São Paulo (USP)

Qui suit le débat sur l’avenir de l’enseignement supérieur en France a forcément entendu parler du classement de Shanghai, qui sert de plus en plus à mesurer le «rayonnement» des universités. Dans ce domaine comme dans d’autres (classements de villes attractives, par exemple), les palmarès fleurissent et la fascination des chiffres leur donne un attrait fort. Mais la tâche des chercheurs en sciences sociales est aussi de prendre une certaine distance face aux phénomènes observés et il nous a paru intéressant de soumettre ce classement — et quelques autres — à une analyse critique. Avant de fonder des stratégies sur une analyse — parfois hâtive — de ce classement, ou d’en rejeter jusqu’à l’idée, comme mauvaise en soi, il nous a semblé utile de comprendre ses principes et son fonctionnement.

Disons tout de suite que cet article n’est pas écrit par un spécialiste des méthodes de classement des universités, les lecteurs qui voudraient en savoir plus sur ce sujet pourront se reporter, par exemple, aux travaux récents d’Yves Gingras (2008), de Michaela Saisana et Béatrice D’Hombres (2008), de Razvan V. Florian (2007) ou de Thed Van Leeuwen (2008), ou encore, plus anciennement, de Jamie P. Merisotis (2002) et Anthony van Raan (2005). Il nous a semblé qu’il pouvait y avoir un apport spécifique de la cartographie à une analyse critique des classements. De notre point de vue, cette analyse est bien à sa place dans M@ppemonde, une revue dont l’objectif est de promouvoir l’usage raisonné des images géographiques. On peut donc tenter de reporter les résultats de ce classement sur des cartes mondiales (1), pour tirer de ce palmarès une vision de la géographie des universités qu’il fait émerger, avec ses points forts et ses vides, ses zones de concentration et ses zones de faiblesse.

Comme le classement «de Shanghai» a été très critiqué, du fait de ses présupposés et de ses limitations, d’autres palmarès ont surgi dans plusieurs pays du monde. Certains de ses adversaires ont en effet estimé que la meilleure façon d’y répondre était d’en construire d’autres. Parmi tous ceux qui ont été publiés depuis quelques années, nous en avons testé plusieurs, puis choisi trois, qui sont très différents les uns des autres et reposent en outre sur des bases très différentes de celles du classement de Shanghai. Ils sont établis par des institutions de trois pays (France, Grande-Bretagne et Espagne): le premier, produit par l’École des Mines de Paris, privilégie la réussite de ses anciens élèves dans le monde des affaires; celui du Times Higher Education (britannique) analyse — dans la mesure du possible — la qualité de la formation donnée aux étudiants; et enfin celui du laboratoire Cybermetrics, du Consejo Superior de Investigaciones Científicas espagnol, mesure la qualité et la visibilité des sites Web des universités. Nous avons choisi de comparer ces quatre palmarès pour l’année 2008. La sortie tardive en 2009 du classement chinois (décalé à novembre au lieu d’août, pour coïncider avec la tenue de la troisième International Conference on World-Class Universities WCU-3 à Shanghai) nous a empêché, pour cet article devant être publié pendant l’année, de prendre en compte le millésime le plus récent des classements. Or il semblait important de maintenir la cohérence temporelle des données utilisées. 2008 est donc notre année de référence.

Il ne suffit évidemment pas de comparer le classement chinois à d’autres, supposés alternatifs, pour évaluer son bien-fondé. On pourra au moins vérifier si, en cartographiant les données de classements construits selon des principes et avec des données différentes, on aboutit ou non à des cartes qui se ressemblent. Un premier point mérite réflexion: pour les quatre classements retenus, la concentration des universités classées dans quelques régions du monde est telle qu’il a fallu ajouter au planisphère trois zooms détaillant la situation des États-Unis, de l’Europe et du Japon, en évidant les zones en question sur le planisphère principal: la figure 1 montre le semis des points retenus par chacun des quatre palmarès, avec leur nombre de mesures.

ARWU, le «classement de Shanghai»

Ce classement (dont le nom officiel est ARWU, Academic Ranking of World Universities) a été conçu au départ, à la demande du gouvernement chinois, pour mesurer l’écart entre les universités chinoises et les grandes universités étrangères, et identifier ainsi les universités où envoyer les étudiants chinois. Depuis 2003, l’Institute of Higher Education de la Shanghai Jiao Tong University (récemment rebaptisé Shanghai Graduate School of Education, GSE-SJTU) classe annuellement les principales universités mondiales en fonction de leurs «résultats de recherche, selon des données internationalement comparables et facilement vérifiables», pour reprendre les termes mêmes des auteurs (2).

Le groupe qui établit ce classement, dirigé par Nian Cai Liu, comprend aussi Ying Cheng et Lin Yang (Liu et al., 2005). À la demande de collègues de différents pays, le groupe a rapidement décidé de publier son classement sur le Web (2005). Ce site est désormais consulté partout dans le monde, avec une moyenne d’environ deux mille visiteurs journaliers. Le groupe analyse toutes les universités dont des ex-élèves ou des enseignants ont reçu un prix Nobel, une médaille Fields, ont eu des articles publiés dans Nature ou Science, dont les chercheurs figurent parmi les plus cités, ainsi que celles qui ont un nombre significatif d’articles indexés par Science Citation Index-Expanded (SCIE) et Social Science Citation Index (SSCI). Soit au total un millier d’établissements, dont seuls les 500 premiers sont cités dans la liste publiée.

Définition des indicateurs

Six indicateurs ont été retenus. Pour chacun d’entre eux l’établissement le mieux classé reçoit la note 100, celle des autres établissements est calculée en pourcentage de celle-ci.

Anciens élèves (Alumni). La base de calcul est le nombre d’anciens élèves de l’université (c’est-à-dire ceux qui ont obtenu leur licence, leur master ou leur doctorat dans l’établissement) qui ont reçu une médaille Fields ou un prix Nobel de physique, de chimie, de médecine ou de sciences économiques. Des poids différents sont attribués selon les périodes d’obtention de ces distinctions: 100% pour les anciens élèves les ayant obtenus en 1991-2000, 90% pour 1981-1990, 80% pour 1971-1980, et ainsi de suite jusqu’à 10% pour 1901-1910. Dès ce premier indicateur s’établit une nette suprématie des États-Unis et de la Grande-Bretagne, particulièrement bien représentés parmi les lauréats du prix Nobel.

Prix (Award). La base est ici le nombre des membres du personnel d’un établissement ayant reçu un prix Nobel, dans les domaines scientifiques où il existe, ou la médaille Fields en mathématiques, alors qu’ils travaillaient dans l’établissement. Des poids différents sont ici aussi attribués selon les périodes: 100% pour les lauréats de 2001-2006, 90% pour 1991-2000, 80% pour 1981-1990, 70% pour 1971-1980, et ainsi de suite jusqu’à 10% pour 1911-1920. Si un lauréat est membre de plusieurs établissements, les points obtenus sont divisés entre eux.

Citations (HiCi). La base est le nombre de chercheurs les plus souvent cités dans les disciplines des sciences de la vie, de la médecine, des sciences physiques, de la technologie et des sciences sociales. La définition des catégories et des procédures détaillées peut être trouvée sur le site Web de l’Institute of Scientific Information (ISI Web of Knowledge).

Nature et Science (N&S). L’indicateur est fondé sur le nombre d’articles publiés dans les revues Nature et Science entre 2002 et 2006. Un poids de 100% est attribué si l’affiliation d’auteur est son poste principal, 50% pour une deuxième affiliation d’auteur, 25% pour d’autres affiliations. L’une et l’autre publient en anglais, Nature étant aujourd’hui publiée par le Nature Publishing Group (bureaux principaux à Londres et New York) et Science par l’American Association for the Advancement of Science, basée à Washington. On ne s’étonnera donc pas que les scientifiques anglophones aient plus de facilité à y publier, non seulement en raison de leur maîtrise de la langue, mais aussi parce que les comités scientifiques de ces revues sont majoritairement composés de chercheurs issus de ces pays.

La figure 2 montre le score sur ce critère des universités retenues pour le score global calculé par les auteurs de l’ARWU: la taille des cercles est proportionnelle à ce score global et sa couleur au score sur le critère N&S.

Publications (PUB). Le calcul s’appuie sur le nombre total d’articles classés dans Science Citation Index-expanded ou Social Science Citation Index. Ici encore la prédominance de la langue anglaise est écrasante et retentit sur le classement des universités non-anglophones.

Taille (PCP). Pour tenter de réduire les effets de taille, les scores issus des cinq indicateurs précédents sont divisés par le nombre de personnes employées à plein temps dans l’établissement, ou son équivalent. Pour 2008, les effectifs ont été obtenus pour les établissements situés aux États-Unis, au Royaume-Uni, en France, au Japon, en Italie, en Corée du Sud, en République tchèque, en Chine, en Italie, en Australie, au Pays-Bas, en Suède, en Suisse, en Belgique, en Slovénie, en Nouvelle-Zélande, etc. On constate toutefois que cet indicateur ne fait qu’amplifier la hiérarchie précédemment identifiée puisque ce sont les très grandes universités du Nord-Est des États-Unis et de Californie, ainsi que les universités britanniques, qui obtiennent ici encore les meilleurs scores.

Pondération des critères et classement global

Aux points obtenus pour chaque indicateur sont affectés des coefficients, récapitulés dans le tableau 1, pour parvenir au score final de chaque établissement, calculé par les auteurs pour les 100 premières universités. Le résultat brut de ce classement peut être traité en tableau par pays, comme le font les auteurs sur leur site (tableau 2).

Mais on peut aussi les reporter sur une carte, en prenant la peine de pointer la localisation des 500 universités analysées. Le site ARWU donne accès à leur site qui, en général, comporte l’adresse de l’établissement (parfois très facilement accessible, parfois plus difficile à trouver, comme si ce détail importait peu): à partir de là, Google Maps et un peu de patience ont permis de situer chaque point.

Autre difficulté: sans que l’on sache pourquoi, les auteurs n’ont pas calculé le score global pour tous les établissements. Nous avons donc produit un indice synthétique (en utilisant la même pondération qu’eux) à partir des scores obtenus pour les six indicateurs qui, eux, sont calculés et publiés pour les 500 établissements. Puis, à la suite d’essais qui ont montré que le résultat visuel était peu clair, nous avons choisi de porter cet indice au carré, afin d’accroître les contrastes sur la carte (une petite licence cartographique — comme on dit une licence poétique — à peu près équivalente à l’exagération des hauteurs sur un bloc-diagramme).

À l’intérieur des États-Unis, on distingue nettement un bloc compact allant de la côte atlantique (Nouvelle-Angleterre) aux Grands Lacs, suivi par la Californie et, dans une moindre mesure, par le Texas et la Floride. En Europe, la concentration des universités de rang mondial reconstitue quasiment la «dorsale européenne» (3), du Nord de l’Angleterre à la Lombardie. Enfin, on retrouve avec le Japon la troisième grande mégalopole mondiale, dont la géographie des grandes universités mondiales, vue par ce classement, confirme de façon éclatante la prédominance. Si des choix graphiques légèrement différents avaient été faits sur nos cartes — associer le Canada au bloc états-unien et faire figurer l’Europe du Nord avec les autres pays européens, le corps principal du planisphère apparaîtrait encore plus vide, puisque ne subsisteraient alors que quelques établissements latino-américains (Mexico, São Paulo, Rio de Janeiro, Belo Horizonte, Porto Alegre, Santiago et Buenos Aires), des universités australiennes, néo-zélandaises, singapouriennes, chinoises, indiennes, et seulement trois universités africaines, toutes les trois situées en Afrique du Sud — au Cap, à Johannesbourg et à Durban (fig. 3 et tableau 3).

Critiques les plus fréquentes et réponses des auteurs de l’ARWU

Une des objections les plus fréquentes est de demander si l’on peut réellement mesurer les résultats des universités par des chiffres. À cela les auteurs répondent, non sans humour, que les professeurs le font constamment, en donnant des notes à leurs étudiants. Il faut seulement, dans le cas des universités, tout comme dans celui des étudiants, se rappeler que l’on ne doit pas prendre ces notes comme des références absolues.

La place des sciences sociales et des sciences humaines est manifestement sous-estimée dans ce classement. Les auteurs le reconnaissent eux-mêmes, mais ils avouent n’avoir pas pu trouver, pour ces domaines scientifiques, de critères correspondant aux exigences qu’ils s’étaient fixées, des mesures universellement reconnues comme valides et librement accessibles sur Internet. En particulier, le fait de ne pas pouvoir disposer d’un classement des livres, l’un des principaux moyens d’expression de ces sciences, a constitué un obstacle majeur à une prise en considération correcte des productions des universités spécialisées dans les sciences sociales.

Un autre facteur de distorsion est le fait que l’anglais est devenu, dans la plupart des domaines, la langue internationale et que les universitaires du monde anglophone sont beaucoup plus intégrés au circuit international que leurs homologues des autres ensembles culturels. Ainsi, ce classement a manifestement favorisé les pays dont l’anglais est la langue maternelle.

Une des questions les plus épineuses est de déterminer à quelle université rattacher chaque chercheur: le principe retenu a été d’utiliser les déclarations des auteurs eux-mêmes, telles qu’elles apparaissent dans la signature des articles. Dans leur note d’accompagnement, les auteurs du classement signalent le problème spécifique de la recherche française: les publications effectuées dans des laboratoires CNRS ne sont prises en compte par l’ARWU que si les chercheurs de ces unités mentionnent leur rattachement à une université.

On ne s’étonnera donc pas que les établissements universitaires français ne soient pas particulièrement bien placés dans ce classement (tableau 4). D’où la virulence, y compris hors du milieu des spécialistes de l’évaluation de l’activité scientifique proprement dite, des réactions de différents acteurs du milieu universitaire et institutionnel français (encadré).

Le classement de l’École des Mines de Paris

En réaction à ce classement, où les «grandes écoles» françaises apparaissent peu, l’École des Mines de Paris (Mines ParisTech) a réalisé un «Classement international professionnel des établissements d’enseignement supérieur», établi à partir du nombre d’anciens étudiants figurant parmi les dirigeants des 500 plus grandes entreprises mondiales.

Nicolas Cheimanoff (2009), directeur des études de Mines ParisTech, le dit clairement: «Nous avons agi par provocation pour dire que nous ne pouvions pas raisonner exclusivement sur le classement de Shanghai et construire une politique de l’enseignement supérieur uniquement en fonction de ce ranking. À l’international, nous avons voulu montrer que la France est un pays où l’on peut faire ses études».

Le principe est simple: les établissements (universités et écoles) sont classés selon le nombre d’anciens élèves occupant le poste de directeur général (Chief Executive Officer ou équivalent) dans une des 500 plus grandes entreprises internationales répertoriées dans Fortune Global 500. Ce classement est établi par le magazine Fortune à partir du chiffre d’affaires publié par les entreprises. Ce critère se veut être l’équivalent, pour les entreprises, du critère «anciens élèves ayant obtenu le Prix Nobel ou la médaille Fields» utilisé par le classement ARWU, les nombres d’anciens élèves concernés étant du même ordre. Ce qui permet de mettre l’accent sur les performances des formations délivrées, plutôt que sur les performances de recherche privilégiées par le critère Alumni de l’ARWU (fig. 4).

Les points obtenus sont ensuite cumulés pour chaque établissement. Enfin, de même que pour le classement de Shanghai, le facteur 100 est affecté à l’établissement ayant obtenu le plus grand nombre de points, celui des autres établissements étant défini en pourcentage de cette performance.

Si quelques différences apparaissent dans les hiérarchies, comme la première place obtenue par Tokyo ou l’apparition en tête de classement de HEC, de l’ENA ou de l’École Polytechnique, l’image d’ensemble qui apparaît sur la carte reste sensiblement la même. Tout au plus note-t-on que les universités californiennes y tiennent moins de place, que Paris et Tokyo obtiennent de meilleurs résultats et qu’un nombre un peu plus élevé d’universités chinoises et brésiliennes tirent leur épingle du jeu, en formant leurs cadres nationaux.

La position d’un pays est évidemment très fortement corrélée au nombre d’entreprises de ce pays représentées dans le Fortune Global 500. Aurélien Bordet (2009) rappelle que «dans la majorité des cas […] la nationalité du pays du siège social d’une société reste bien souvent identique à celle de son dirigeant. Ainsi, alors que la plupart des patrons français sont issus des mêmes business schools, il est normal de trouver ces dernières dans le Top Ten de ce nouveau classement. À l’inverse, les universités allemandes [...] sont mises à l’écart. Les grands dirigeants allemands sont pratiquement diplômés d’autant d’universités différentes». (tableau 5)

Selon l’Observatoire Boivigny (2008): «la bonne place de l’ENA et de Polytechnique (et des formations complémentaires que sont Sciences Po ou les Mines pour ces deux établissements) s’explique très certainement par la prédominance de l’État dans l’économie française des années 1960 à la fin des années 1980. En effet, le parachutage de hauts fonctionnaires passés par les cabinets ministériels à la tête d’entreprises [...] était alors monnaie courante. On les retrouve aujourd’hui à la direction des multinationales françaises. Cela reflète-t-il pour autant “les performances des formations délivrées par les établissements d’enseignement supérieur”? Probablement pas». En outre «L’École des Mines admet que “la notion même de classement perd de son sens au-delà du 60^e rang”, car le nombre d’anciens parvenus au sommet pris en compte dans le calcul des points devient trop faible pour départager les établissements entre eux».

Le classement du Times Higher Education

Témoignant aussi de la volonté de se démarquer du classement de Shanghai, le classement établi par cette revue britannique, référence reconnue par les milieux universitaires, visait à prendre en compte les différentes fonctions de l’Université (au premier chef la formation des étudiants), et pas seulement les résultats de la recherche qui s’y fait. Cinq critères ont été retenus, qui vont du jugement porté par d’autres universitaires sur leurs collègues (peer review) au jugement des employeurs, en passant par le nombre et la qualité des citations des travaux produits dans cette université, leur degré d’internationalisation et le taux d’encadrement des étudiants (tableau 6).

Évaluation «par les pairs»

L’évaluation des universités par les «pairs» est le critère principal, elle a été recueillie grâce à une enquête menée sur Internet (dans le monde entier), auprès des universitaires exerçant dans d’autres établissements que celui qui est analysé. L’image globale donne un résultat un peu plus homogène que les précédents, les cercles figurant les universités étant de taille plus semblable, mais, les hiérarchies, à l’exception du bon rang obtenu par les universités australiennes, restent à peu près les mêmes, avec une nette prédominance de la Californie et du Nord-Est des États-Unis.

Évaluation par les employeurs

Fondée elle aussi sur une enquête menée sur Internet, cette évaluation a été fournie par les employeurs, à qui il a été demandé de noter la qualité de la formation donnée à leurs employés par les établissements universitaires où ils ont obtenu leur diplôme. Les universités britanniques et australiennes affichent ici leurs meilleurs résultats, ainsi que Paris et Barcelone.

Citations

Pour mesurer les résultats de la recherche, sont pris en compte, comme dans le classement ARWU, le nombre de citations des auteurs exerçant dans chaque université, cette fois à partir de la base de données Scopus, sur les cinq dernières années. Le résultat est sensiblement le même, une écrasante prédominance des pays anglophones et plus précisément des États-Unis.

Taux d’encadrement

Pour ne pas se limiter aux résultats de la recherche et tenir compte également de la façon dont les universités suivent, au jour le jour, les progrès de leurs étudiants, la revue a opté pour un critère simple et facilement mesurable: le rapport entre le nombre d’étudiants et d’enseignants. En supposant que plus le taux d’encadrement est élevé, plus l’attention portée par les enseignants à leurs étudiants l’est également, on mesure ainsi la qualité de la formation donnée aux étudiants. Paris obtient ici de bons résultats, principalement grâce aux grandes écoles où le nombre d’étudiants admis est limité par un concours d’entrée et améliore donc le taux d’encadrement des élèves par rapport aux universités, tenues d’accueillir tous les bacheliers qui s’y inscrivent.

La figure 5, construite sur un critère pédagogique, confirme les indications données par le classement ARWU: la prédominance des trois mégalopoles, l’américaine (élargie jusqu’aux Grands Lacs et complétée par la Sun Belt, de la Californie à la Floride), l’européenne et la japonaise, auxquelles on peut ajouter quelques établissements au Canada, en Europe du Nord, en Chine et en Australie / Nouvelle-Zélande pour obtenir l’essentiel de la géographie des grandes universités mondiales.

Ouverture internationale

Deux autres critères ont été pris en considération pour mesurer l’ouverture de chaque université sur le monde extérieur: nombre d’étudiants et nombre d’enseignants provenant d’autres pays. C’est aussi, d’une certaine façon, une mesure de l’attraction de chaque établissement au-delà des limites de son propre pays. Les scores des universités européennes sont ici meilleurs que ceux des États-Unis — il est vrai que les pays y sont plus petits et la circulation internationale plus facile — ainsi que ceux de l’Australie, malgré son isolement géographique.

Score global

Les critères ont ensuite été combinés pour obtenir un score global, avec les pondérations mentionnées dans le tableau 7.

La cartographie de ce score global donnant des résultats peu différenciés (il ne varie que de 100 à 54,3), nous avons ici opté pour une analyse factorielle (ACP) des différents critères (figures 6 et 7). La qualité de l’encadrement, au centre des deux axes, ne fait guère de différences. L’axe 1 (33,53% de la variance) n’a pas d’expression géographique claire, mais l’axe 2 (22,29% de la variance) oppose bien deux groupes. D’un côté, les universités qui ont de bons scores aux évaluations par les pairs et les employeurs et en termes de citations (en couleurs chaudes), aux États-Unis, au Japon, en Chine et en France (École Polytechnique). De l’autre, celles qui se distinguent davantage par leur ouverture internationale (couleurs froides), principalement en Europe, en Australie, au Canada et à Singapour.

Le «Webometrics Ranking of World Universities»

Le «Webometrics Ranking of World Universities» est une initiative du laboratoire Cybermetrics, un groupe de recherche appartenant au Consejo Superior de Investigaciones Científicas (CSIC), la plus grande institution publique de recherche en Espagne, avec 126 centres et instituts dans tout le pays, rattaché au ministère de l’Éducation. Le laboratoire Cybermetrics a pour objectif l’analyse quantitative de l’Internet, il a conçu des indicateurs qui visent à mesurer l’activité scientifique sur le Web. Le but original du classement était de favoriser la publication sur le Web, pas de classer les établissements. Mais ces indicateurs donnent des renseignements utiles, car ils ne sont pas fondés sur le nombre de visites ou la conception des pages, mais sur la visibilité globale des universités sur le réseau. Plus de 15 000 universités ont été évaluées (contre 3 000 par ARWU), un peu plus de 4 000 en Europe, de 3 500 en Amérique du Nord, de 3 600 en Asie, de 2 800 en Amérique latine, de 500 en Afrique et de 100 en Océanie.

Quatre indicateurs ont été retenus à partir des résultats quantitatifs fournis par les principaux moteurs de recherche: taille, visibilité, qualité des pages et contenu scientifique.

• La taille est le nombre de pages relevées par quatre moteurs de recherche, Google, Yahoo, Live Search et Exalead.
• La visibilité est le nombre de liens externes uniques reçus (inlinks) par un site, résultat communiqué confidentiellement par Yahoo, Live Search et Exalead.
• Qualité des pages: après évaluation de leur pertinence pour des activités éducatives ont été retenues les pages aux formats informatiques suivants: Adobe Acrobat (.pdf), Adobe PostScript (.ps), Microsoft Word (.doc) et Microsoft Powerpoint (.ppt). Ces données ont été extraites toujours en utilisant Google, Yahoo Search, Live Search et Exalead.
• Contenu scientifique: Google Scholar, service spécialisé de Google, fournit le nombre d’articles et de citations pour chaque domaine scientifique.

Les quatre indicateurs sont combinés avec une pondération de 50% pour la visibilité, 20% pour la taille, 15% pour la qualité des pages et 15% pour le contenu scientifique. Une forte présence sur le Web, fournissant des descriptions exactes de la structure et des activités de l’université peut attirer de nouveaux étudiants et des enseignants du monde entier. Le nombre de requêtes reçues par un site est une mesure de la visibilité et de l’impact de son contenu.

La liste des 20 premiers est entièrement composée d’universités des États-Unis, ne laissant aucune place aux établissements d’autres pays (tableau 8). La carte de la visibilité (fig. 8) (seule retenue ici, les autres donnant des images similaires) souligne une fois encore la prédominance des régions déjà mentionnées, qui figurent aux premiers rangs (couleurs plus sombres). Tout au plus peut-on dire que les petites et moyennes universités arrivent parfois à compenser, dans ce domaine, la disproportion des moyens dont elles disposent par rapport aux très grandes universités, leur site Internet pouvant être de qualité comparable sans avoir nécessité de trop gros investissements.

Un classement des classements?

Au terme de l’analyse des quatre palmarès, un traitement statistique multivarié peut faire ressortir leurs différences et aider à construire une typologie des grands établissements d’enseignement supérieur dans le monde. Pour cela, on a eu recours à une classification ascendante hiérarchique (CAH) des établissements (universités et écoles) présents dans les quatre classements, soit 96 au total. Faire partie de cette courte liste est déjà un critère en soi, puisqu’il faut pour cela une reconnaissance quantifiée de sa production scientifique (ARWU), de sa capacité à produire des dirigeants de grands groupes économiques (Mines Paris Tech), de la qualité de son enseignement (Times Higher Education) et de sa présence sur Internet (Webometrics). Les critères choisis apparaissent sur la figure 9 et servent à construire des profils qui regroupent les individus (ici les universités) semblables au vu de ces critères. Par son principe même, la CAH les rapproche en fonction de leur écart à la moyenne, sur chaque variable, de tout le groupe évalué, soit au-dessus de la moyenne (barres à droite de l’axe vertical), soit au-dessous de celle-ci (barres à gauche).

Cette typologie et sa répartition sur la carte (fig. 10) peuvent s’interpréter comme suit:

• Le groupe n° 1 de la classification (cercles rouges) est visiblement celui des «meilleurs de la classe», ceux qui ont des scores très supérieurs à la moyenne sur tous les critères (à part leur présence sur le Web, dont ils n’ont vraisemblablement pas tellement besoin). Ce sont principalement les universités de l’«Ivy League» (4) de la Nouvelle-Angleterre, plus Chicago, Oxford et Cambridge, Zurich (Institut Fédéral de Technologie) et Tokyo.
• Le groupe n° 2 (cercles bleus) est au contraire celui qui se distingue principalement par la qualité de sa présence sur le Web — et la fréquentation de ses sites Internet. Il associe des universités un peu moins connues des États-Unis (Emory, Dartmouth, Georgetown) ou d’Europe (Bath, Göttingen, Tübingen, Chalmers), ainsi que l’École Polytechnique et l’université de Cape Town, qui lui doivent respectivement la présence des seuls établissements français et africain.
• Le groupe n° 3 (cercles verts) se caractérise par des scores plus élevés que la moyenne pour les publications, notamment dans Nature et Science, une bonne évaluation par les pairs (et les employeurs), un grand nombre de citations de ses enseignants recensées dans les index reconnus, un profil plus «académique» et menant à des carrières moins brillantes — et moins rémunératrices — que le groupe n° 1. Il regroupe des universités du Middle West et du Sud des États-Unis, Mc Gill et Toronto, Kyoto, Manchester et Edimbourg.
• Le groupe n° 4 (cercles jaunes) est le plus ouvert sur le monde, celui qui compte le plus d’étudiants et de professeurs étrangers, des sites abondants et très visités (une chose expliquant probablement l’autre). Ces universités australiennes, hollandaises, irlandaises et surtout britanniques (Glasgow, Durham, York, Sheffield) ont su se rendre attractives par d’autres moyens que celles des États-Unis ou du Japon, non représentées dans ce groupe.
• Le groupe n° 5 (cercles roses), enfin, est proche de la moyenne dans tous les domaines. Il semble être, dans cette élite mondiale, celui des pays émergents (Chine, Brésil, Mexique), des régions périphériques — du point de vue universitaire — de l’Europe (Scandinavie, Espagne, Autriche, Belgique). Aux États-Unis il est formé d’établissements moins prestigieux que ceux du premier groupe, moins présents sur le Web que ceux du deuxième, qui publient moins que ceux du troisième, moins international que ceux du quatrième, mais qui a sa place ici car il fait tout de même figure honorable dans tous ces domaines. C’est là une belle performance alors que d’autres sont absents de cette liste courte faute de se qualifier dans l’un ou l’autre de ces champs de compétence: c’est notamment le cas de toute la Californie, à une exception près.

Conclusion

Une première conclusion, très partielle, est que l’on peut comprendre que ces classements ne sont pas très bien reçus en France, où les universités sont prises en tenaille entre les grandes écoles, qui leur enlèvent les meilleurs étudiants, et les organismes comme le CNRS, où se fait l’essentiel de la recherche publique. On voit bien que cette singularité et la balkanisation de l’offre nuisent à la France dans ces comparaisons internationales, ce que l’on déplore notamment dans les milieux politiques. Violaine Leloup, à l’époque attachée de presse de l’ambassade de France à Pékin, regrettait ainsi en 2007 qu’«un tiers seulement [des universités françaises] propose une interface en anglais de leur site Internet» et que «plus de la moitié n’offrent pas la possibilité de télécharger en ligne un dossier d’inscription et seulement 14% d’entre elles offrent un service complet d’inscription en ligne pour les étudiants étrangers» (Leloup, 2007). D’où la nécessité, si l’on souscrit à cette ambition de meilleure lisibilité internationale, de s’organiser en conséquence, un souci de plus en plus pris en considération. La même Violaine Leloup note en effet que «certaines [universités] commencent à mutualiser leurs offres, en mettant l’accent sur la promotion, la sélection ou l’accueil des étudiants [...]. C’est le cas du réseau ParisTech qui regroupe onze grandes écoles d’ingénieur parisiennes et qui sélectionne aujourd’hui ses nouvelles recrues dans neuf universités chinoises de premier rang [...] Ces réseaux dans la logique des pôles de recherche et d’enseignement supérieur (PRES) donnent une meilleure lisibilité à l’offre française de formation et renforcent la notoriété des établissements français».

Une deuxième conclusion, de portée plus générale, est que le classement lancé — avec des ambitions modestes au départ — par l’Institute of Higher Education de la Shanghai Jiao Tong University aura au moins eu pour effet de lancer un vaste débat; même si des usages pervers en ont été faits, on ne saurait en faire reproche à ses auteurs. À chacun — universités, ministères, enseignants et étudiants — de voir ce qu’il peut apprendre de ce classement, et quels en sont les biais et les limites. De plus son succès a suscité d’autres initiatives, celles qui ont été analysées ici et bien d’autres (voir en bibliographie des classements spécialisés pour les étudiants noirs, hispaniques, activistes, etc.). Avec les concurrents qu’il a fait naître, il a poussé les universités du monde entier à améliorer, sinon leurs «performances», du moins leur présentation au monde extérieur, et amené bien des partenaires du monde éducatif à se demander à quoi servent vraiment les établissements d’enseignement supérieur, comment en mesurer les réussites, comment comparer les différents systèmes mondiaux. Ce n’est pas un mince résultat.

Ayant examiné les résultats des classifications qui se veulent les concurrentes de celles de Shanghai, on ne peut qu’être frappé par leur convergence, par le fait que les images que l’on peut construire en reportant — sans a priori — leurs résultats sur des cartes sont relativement semblables, à quelques détails près. Ceux-ci sont le plus souvent directement liés au choix fait par leurs promoteurs pour se démarquer — sans grand succès, de ce point de vue — de leurs prédécesseurs. Les images globales — les concentrations des «bons» établissements dans les trois mégalopoles, leur rareté ailleurs — sont très semblables dans les quatre cas, et l’analyse cartographique le fait ressortir de façon éclatante. On pourrait donc être tenté de penser qu’il ne sert à rien de se plaindre des insuffisances du classement de Shanghai, puisque les autres, bien que construits sur des critères différents, aboutissent à peu de chose près aux mêmes résultats. Ce ne serait pourtant pas tout à fait juste, et la typologie tirée de l’analyse multivariée le montre. Même dans ce contexte de domination des mégalopoles, des stratégies et des situations alternatives se font jour. Les cartes font apparaître des groupements inédits, fondés sur des ressemblances qui n’apparaissaient pas bien dans les palmarès. À côté des «meilleurs de la classe», d’autres universités se distinguent par un profil plus «académique», la qualité de leur présence sur le Web ou leur ouverture sur le monde. En outre, une nouvelle génération de régions et pays «émergents» se fraie un chemin jusqu’au groupe de tête, annonce — peut-être ? — de futurs rééqui-librages. On ne peut que le souhaiter car, dans ce domaine comme dans bien d’au-tres, les efforts tendant vers la variété, la pluralité et le polycentrisme sont bienvenus.

Bibliographie

BORDET A. (2009). «Classement de Shanghai: branle-le-bas de combat dans les Universités européennes». Cafebabel.com.

CHEIMANOFF N. (2009). «Notre classement constitue un véritable outil de communication à l'international». EducPros.fr. consulté le 16/8/09

FERT A. (2008). «Comment le classement de Shanghai désavantage nos Universités». Le Monde, 27/08/2008.

FLORIAN R. V. (2007). «Irreproductibility of the results of the Shanghai academic ranking of world universities». Scientometrics, vol. 72, p. 25-32.

GINGRAS Y. (2008). «La fièvre de l'évaluation de la recherche. Du mauvais usage de faux indicateurs». Notes de recherche du CIRST, 15 p.

LELOUP V. (2005). «Le classement de l’université de Jiaotong de Shanghai». mis à jour le 27/04/2007.

LEEUWEN VAN Th. (2008). “Testing the validity of the Hirsch-index for research assessment purposes”. Research Evaluation, vol. 17, n° 2, p. 157-160.

LIU N.C, CHENG Y. (2005). “Academic ranking of world universities”. Higher Education in Europe, vol. 30, n° 2, p. 127-136.

LIU N.C, CHENG Y., LIU L. (2005). “Academic ranking of world universities using scientometrics: A comment on the “Fatal Attraction”. Scientometrics, vol. 64, n° 1, p. 101-109.

MAHRER Ph. (2007). «Université-Grandes écoles, le vrai poids de la France». Les Échos.

MATHIEU E. (2006). Le rôle du classement de Shanghai dans la politique universitaire et d'innovation chinoise, Conférence organisée par l'IFRI et l'ANRT.

MERISOTIS J. P. (2002). “On the Ranking of Higher Education Institutions”. Higher Education in Europe, vol. 27, n° 4, p. 361-364.

OBSERVATOIRE BOIVIGNY (2008). «Classement de l'école des Mines: critiques et contre-critiques». Observatoire Boivigny.

RAAN VAN A.F.J. (2005). “Fatal Attraction: Ranking of Universities by Bibliometric Methods”. Scientometrics, vol. 62, n° 1, p. 133-143.

SAISANA M., D’HOMBRES B. (2008). Higher Education Rankings: Robustness Issues and Critical Assessment. How much confidence can we have in Higher Education Rankings? Rapport EUR 23487 pour l’Union européenne, 106 p.

Sources des données

Classement ARWU et ses sources

Academic Ranking of World Universities. Institute of Higher Education, Shanghai Jiao Tong University (consulté le 24/08/09).

Lauréats de prix Nobel (consulté le 24/08/09).

Médailles Fields (consulté le 24/08/09).

Chercheurs les plus cités (consulté le 24/08/09).

Articles édités dans Nature et Science (consulté le 24/08/09).

Articles classés Science Citation Index-expanded et Social Science Citation Index (consulté le 24/08/09).

Autres classements

Ranking of World Universities in the Web (consulté le 24/08/09).

The Times Higher Education World University Ranking (consulté le 24/08/09).

Classement international professionnel des établissements d’enseignement supérieur (consulté le 24/8/09).

Fortune Global 500 (consulté le 24/8/09).

Classements spécialisés

The 25 Best distant learning Universities (consulté le 24/08/09).

Black Enterprise's Top Colleges for African Americans (consulté le 24/08/09).

Hispanic Magazine.com's Top 25 Colleges for Latinos (consulté le 24/08/09).

Mother Jones Top 10 Activist Schools (consulté le 24/08/09).

Cost-Benefit Analysis of American Law Schools (consulté le 24/08/09).

Notes

1. Nous avons utilisé pour le premier traitemement cartographique des données les logiciels Cartes et Données et Philcarto, le premier offert à prix très réduit aux étudiants et enseignants. Le second est gratuit.

2. “by their research performance based on internationally comparable data that everyone could check”

3. La principale concentration de populations et de villes en Europe, naguère appelée «banane bleue»

4. Littéralement le «club du lierre», les plus anciennes universités du pays, pour la plupart fondées du temps de la colonie britannique.