* Secrétaire perpétuel de l’Académie des sciences, Membre de l’Académie nationale de Médecine.

Importance de l’évaluation en science et en médecine

L’évaluation n’est pas une pratique nouvelle en soi. Elle constitue l’un des fondements de la validation du travail scientifique. Toutefois, elle connaît une montée en puissance considérable, et l’évaluation individuelle des chercheurs et enseignantschercheurs, y compris des médecins hospitaliers, est devenue incontournable dans le contexte scientifique mondial actuel. Elle a, de plus, acquis une importance particulière en raison de la loi LRU (Libertés et Responsabilités des Universités) du 10 août 2007 qui confère un pouvoir nouveau aux établissements à l’échelle locale et instaure l’obligation d’évaluer tous les types d’activité : recherche, enseignement et tâches d’intérêt collectif. L’évaluation individuelle permet en particulier de valider les résultats de la recherche, d’asseoir les recrutements, les promotions et le suivi de l’activité des chercheurs et enseignants-chercheurs dans toutes les missions qui leur sont dévolues, sur des bases objectives. Elle est en outre utilisée pour les contrats, l’attribution de prix, les distinctions décernées aux chercheurs et enseignantschercheurs. Mais elle est aussi prise en compte pour l’affectation de subventions individuelles de recherche aux chercheurs, aux équipes ou aux institutions, et ceci est particulièrement vrai pour les hôpitaux universitaires, pour les choix budgétaires, pour le classement des établissements, et bien d’autres applications encore dont l’enjeu est de taille. Quel que soit son objet, l’évaluation est un processus complexe et sensible demandant tout à la fois un grand professionnalisme, l’utilisation de critères justes et objectifs, et un entourage éthique très rigoureux. Elle est tout à fait légitime et même nécessaire mais doit en contrepartie offrir toutes les garanties nécessaires à son équité.

Force et limite de l’évaluation par les pairs

L’évaluation par les pairs, c’est-à-dire par des experts de la même discipline réunis dans un jury ou un comité, a longtemps été la seule façon d’évaluer les chercheurs.

Elle a une valeur irremplaçable pour apprécier la contribution scientifique d’un chercheur en termes d’originalité de pensée, de qualité de travail, d’innovation conceptuelle et technologique, de notoriété, de création d’école et de rayonnement d’une façon générale. Elle est quasiment seule à pouvoir évaluer les activités d’enseignement, les charges d’intérêt collectif, et à pouvoir apprécier la pertinence d’une recherche qu’elle soit fondamentale ou appliquée. Elle repose sur l’analyse directe des travaux, la lecture des articles originaux, l’audition et l’échange d’opinions contradictoires. Mais comme l’indiquait l’Académie des sciences dans le premier rapport qu’elle a publié sur ce thème en 2009 intitulé « L’évaluation des chercheurs et des enseignants-chercheurs en sciences exactes et expérimentales » [1] (http://www.academie-sciences.fr/activite/rapport/rapport080709.pdf), cette évaluation présente des insuffisances et des manquements fréquents : qualité des évaluateurs parfois contestable, déontologie personnelle souvent incertaine dans le cas de conflits ou de communautés d’intérêt, manque d’objectivité fréquent face au favoritisme disciplinaire, au localisme ou aux quelconques effets de groupe, qualité des évaluations parfois douteuse, analyse, souvent trop superficielle des travaux examinés, liée en partie au nombre excessif d’expertises demandées aux évaluateurs, et enfin transparence des évaluations laissant souvent à désirer. A cela, s’ajoute le fait que ce type d’évaluation est grosse consommatrice de temps. C’est probablement l’ensemble de ces faiblesses qui a suscité l’émergence et l’engouement actuel pour la bibliométrie dans une grande partie de la communauté scientifique, méthode plus rapide, censée apporter un avis plus factuel.

Définition de la bibliométrie et des bases de données

La bibliométrie est un outil qui permet une évaluation quantitative des travaux de recherche. Elle est fondée sur l’utilisation des publications scientifiques comme indicateurs de la production de leurs auteurs. Ces indicateurs, nombre de publications, nombre de citations, facteur d’impact, facteurs intégrés H, G ou autres, etc., sont calculés à partir de base de données bibliographiques couvrant la quasi totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines. Deux bases de données généralistes majeures, accessibles sur abonnements et recensant 90 % des revues et journaux, existent actuellement : ISI-Thomson Reuters, et Scopus chez Elsevier. Chacune présente des avantages. La base Scopus couvre un nombre de revues beaucoup plus élevé que ISI, mais la base ISI a rétro-indexé certaines de ses revues jusqu’au début du xxe siècle. Le Web of Science (WoS) est un logiciel qui permet d’utiliser la base ISI pour les chercheurs, comme le Journal Citation Report (JCR) pour les revues. En outre, il existe des bases thématiques telles que la base Math Reviews pour les mathématiques qui contient les références de tous les articles depuis 1940 et fournit pour chacun d’eux un fichier bibliographique avec commentaires et analyse des résultats. Ces bases de données sont de bonne qualité dans l’ensemble et en constante progression pour la plupart d’entre elles ;

mais elles présentent néanmoins des défauts liés en particulier aux publications non prises en compte soit en raison de leur ancienneté, soit en raison de la nature des documents (les ouvrages, les revues générales, les compte rendus de conférences ne sont pas toujours pris en considération), aux problèmes de noms composés et d’homonymies, à l’intitulé des institutions d’appartenance, aux disciplines non couvertes (notamment les sciences humaines et sociales), aux personnes qui calculent les indices qui n’ont pas toujours accès à leur intégralité, etc. Il existe également des bases de données gratuites dont la plus importante est la base Google Scholar qui inclut un beaucoup plus grand nombre d’éléments tels que les thèses, les livres, les revues générales, les abstracts, etc., mais elles ne sont pas complètement fiables.

Les principaux indicateurs

Il existe une multiplicité d’indicateurs bibliométriques, mais l’on n’examinera ici que les plus utilisés d’entre eux. Il convient de bien faire la différence entre ceux qui évaluent les sources que sont les journaux ou les revues, notamment le facteur d’impact , et ceux qui évaluent les auteurs, tels que le nombre total de publications, le nombre total de citations, le facteur H, le facteur G, etc. À de rares exceptions, ils reposent essentiellement sur une analyse des citations et héritent donc des problèmes liés à leurs sources.

Le facteur d’impact (FI) ou Impact Factor ( IF ) d’une revue ou d’un journal est un indicateur proposé par l’ISI et publié dans son

Journal Citation Report . Il était à l’origine destiné aux professionnels de l’édition mais a été détourné de son rôle initial par les chercheurs. Il est défini par le rapport fait chaque année entre le nombre de citations dans l’année « n » d’articles du journal parus dans les années n-1 et n-2 (uniquement) et le nombre total d’articles publiés par cette revue pendant ces mêmes deux années. Le Facteur d’Impact est considéré comme un indicateur de la qualité d’un journal et joue un rôle très important dans le monde scientifique. Il est, par extension, souvent pris en compte pour évaluer la qualité d’un article, notamment en biologie et en médecine. Or, s’il est vrai que la publication d’un article dans ces grandes revues (telles que New England Journal of Medicine , Lancet , Nature , Science , etc.) représente un indice de notoriété, il n’en reste pas moins que cet indicateur présente de nombreux biais qui le rendent contestable. Il faut en effet se souvenir que le Facteur d’Impact représente une moyenne de citations pour l’ensemble des articles de la revue pendant une période donnée. Or, de très nombreux articles publiés dans ces revues ne reçoivent qu’un très faible taux de citations et ne devraient pas bénéficier de la notoriété assurée par le nombre moyen de citations. Il est donc utile de considérer, pour chaque article publié dans ces grandes revues, le nombre effectif de citations auquel il a donné lieu. Par ailleurs, le Facteur d’Impact est très variable selon les disciplines et ne doit être utilisé qu’à l’intérieur d’un même domaine, voire d’un sous-domaine. En outre, il ne dit pas quel est le rôle de l’auteur dans l’article en question et surtout pas quelle est la qualité de la publication, un facteur d’impact faible ou même moyen peut discréditer de façon très injuste des revues et journaux contenant d’excellents articles, etc. De plus, le Facteur d’Impact étant un sujet de prestige pour une revue, il va donner lieu à de multiples artifices pour en grossir la valeur. Pour toutes ces raisons et d’autres encore, l’utilisation du Facteur d’Impact dans un but d’évaluation d’un niveau scientifique individuel est à proscrire, même s’il est couramment utilisé, en particulier en biologie et en médecine.

Le nombre total de citations constitue l’un des indicateurs les plus utilisés en bibliométrie pour caractériser un auteur. Cet indice intéressant est utilisé pour évaluer la qualité scientifique du travail d’un chercheur. Cependant, tout comme pour le facteur d’impact, l’importance qui lui est donnée l’expose à de nombreux biais et perversions : auto-citations, citations d’amis ou au sein d’un même groupe d’auteurs, tronçonnement d’un article long en plusieurs articles courts, citations démesurées quand il s’agit d’ouvrages pédagogiques, techniques ou de nature à être souvent consultés, citations négatives qui ne sont pas distinguées des autres, etc. De plus, comme cela est constaté pour la plupart des indicateurs, les pratiques de publications et donc de citations varient beaucoup d’une discipline à l’autre et les valeurs annoncées doivent donc être impérativement replacées dans leur contexte disciplinaire. Enfin, et c’est là l’une de ses plus grandes faiblesses, cet indicateur ne dit pas le rôle de l’auteur dans la publication citée, autrement dit sa contribution exacte qui peut varier de celle de premier auteur à celle de collaborateur technique, avec tout l’éventail des positions intermédiaires.

Le Facteur H est un indicateur de productivité qui, contrairement au nombre total de publications ou de citations, est censé mesurer la qualité scientifique d’un chercheur. Inventé en 2005 par l’universitaire Jorge Hirsch en Californie, le nombre H d’un auteur est défini par le nombre H d’articles de cet auteur ayant été cités au moins H fois. Par exemple, un scientifique qui a un H-index de 40 a écrit 40 articles cités au moins 40 fois. Cet indice peut être facilement obtenu à partir du Web of Science de ISI pour les domaines scientifiques bien couverts par cette base.

Il présente l’avantage d’éliminer de l’évaluation les très nombreux articles d’un chercheur qui sont peu ou pas cités, mais il présente aussi des inconvénients : il n’est pas applicable pour les jeunes qui n’ont pas encore eu le temps de beaucoup publier, il peut augmenter même si le chercheur n’est plus en activité, il sous-estime les chercheurs ayant publié des livres, il favorise les chercheurs qui travaillent sur des sujets porteurs mais pas ceux qui s’intéressent à des sujets innovants, il ne met pas en valeur les contributions très importantes d’un auteur, il ignore le nombre total de citations, etc. Pour combler ces lacunes, des variantes telles que le G index ont été imaginées.

Le Facteur G , proposé en 2006 par L. Egghe, est un indicateur qui vise à mettre l’accent sur la qualité des travaux scientifiques plutôt que sur leur quantité. Il correspond au nombre G d’articles dont la somme des nombres de citations est au moins G2. Un G index de 10 indique que l’auteur a écrit dix papiers dont la somme des citations est au moins 100. L’indicateur G est moins connu que l’indicateur H, et en première analyse un peu plus difficile à utiliser, mais il existe un outil informatique simple qui permet de le calculer à partir des fichiers de la base ISI (http://pasquier.claude.free.fr/publications/publisdata.php).

D’autres indicateurs plus performants ou plus sophistiqués ont été imaginés pour pallier les faiblesses des précédents et tenter de corriger leurs défauts, qui précisent notamment l’année de publication, le type de document (articles scientifiques, revues générales, articles didactiques), le domaine scientifique, etc. On peut aussi demander au chercheur qu’il indique sa position par rapport aux chercheurs les plus cités de sa discipline (se situe-t-il dans les 1 %, 5 %, 10 %), ou qu’il situe ses articles par rapport aux articles les plus cités de sa discipline, etc. Il faut aussi noter qu’il existe d’autres critères quantitatifs d’évaluation qui ne sont pas bibliométriques, tels que les conférences-invitées, les grands contrats internationaux, les distinctions, les grands prix, les brevets, les logiciels, etc.

L’utilisation de la bibliométrie pour l’évaluation individuelle des chercheurs, enseignants-chercheurs, médecins hospitaliers et hospitalo-universitaires. Les biais à éviter, les erreurs à ne pas commettre

La bibliométrie est séduisante car elle semble facile d’usage, rapide d’utilisation à une période où les chercheurs sont pressés de toute part, attrayante en raison de la simplicité des chiffres qu’elle fournit, et apparemment plus objective qu’une évaluation par les pairs obligatoirement soumise à des variations. Néanmoins, la bibliométrie présente de sérieux inconvénients dûs à de multiples raisons : une trop grande simplification, des insuffisances, de nombreux biais, et souvent des perversions du système. Il faut donc analyser son utilisation avec beaucoup d’attention et de rigueur.

Les bases de données, même si elles sont dans l’ensemble de bonne qualité, présentent des défaillances. Outre celles évoquées plus haut, elles ne couvrent pas la totalité des disciplines, et les personnes calculant les indices n’ont pas toujours accès à leur intégralité ni même l’expérience suffisante pour le faire. Les données ne sont pas toujours bien recueillies et donc pas toujours exactes. Beaucoup d’erreurs matérielles se glissent également dans le calcul des indicateurs, sans compter les problèmes dus aux homonymies, aux changements de noms, aux intitulés des adresses des laboratoires ou des institutions d’appartenance, etc. Il faut donc impérativement que les indices soient validés, mais se pose la question de savoir qui peut les valider :

un bureau habilité ou le chercheur lui-même ? L’idée d’un identifiant par chercheur pourrait éviter un grand nombre d’erreurs.

Aucun indicateur à lui seul ni même aucun ensemble d’indicateurs ne peut résumer la qualité de la production scientifique d’un chercheur. Il faut donc y associer d’autres données, notamment la liste des cinq, dix ou vingt meilleures publications avec le nombre respectif de citations pour chacune, le facteur d’impact de la revue dans laquelle les articles sont publiés, et éventuellement un certain nombre d’élé- ments positionnant le chercheur ou son article par rapport à la moyenne dans sa discipline, en tenant compte aussi de son âge dans la carrière qui est un facteur déterminant. Une notice bibliographique par article, le présentant en quelques phrases, devrait aussi être fournie par l’évalué pour compléter ces informations, et même les fichiers PDF électroniques des principaux articles eux-mêmes.

Les indices bibliométriques ne sont pas les mêmes ou doivent être affectés de coefficients différents selon qu’il s’agit d’évaluer des candidats en vue d’un recrutement, d’une promotion, d’un contrat, d’un prix ou d’une distinction, d’une recherche fondamentale ou d’une recherche appliquée. De même, ils faut les moduler en fonction de la durée de la carrière, leur valeur augmentant avec l’âge. Ils sont à proscrire en début de carrière en raison de tous les biais possibles, mais peuvent être utiles ensuite, notamment pour les seniors, en tenant compte toutefois d’éventuels changements d’orientation thématique possibles, et surtout de la discipline concernée.

Chaque discipline, voire sous discipline, a ses habitudes de publications, de citations et d’usage de la bibliométrie. Elles sont souvent corrélées à la taille de la communauté qui est extrêmement variable selon les disciplines. Il faut donc impérativement replacer les indicateurs bibliomériques dans la distribution de la discipline à laquelle appartient le chercheur. La bibliométrie ne permet absolument pas de comparer des chercheurs de disciplines différentes. On peut noter brièvement quelques spécificités disciplinaires : par exemple, l’absence de bonnes bases de données en sciences humaines et sociales qui entraîne la faible prise en compte de la bibliométrie pour l’évaluation des chercheurs, la réticence de l’ensemble des mathématiciens vis-à-vis de la bibliométrie parce que la communauté est petite, qu’il se connaissent tous, et qu’ils disposent par contre d’une excellente base de données Math Reviews très documentée et très consultée, la culture bibliométrique intensive, voire excessive, par contre en biologie et en sciences de la vie où le caractère généraliste des journaux leur donne un avantage certain par rapport aux bonnes revues spécialisées qui sont très peu citées en dehors de la communauté concernée, etc. Les pratiques en matière de rédaction et de signature d’articles diffèrent également considérablement d’une discipline à l’autre. En mathématiques, plus de la moitié des articles n’ont qu’un seul auteur, en physique et dans ses sous-disciplines les habitudes sont très variées. En biologie et en médecine, par contre, la moyenne du nombre de signataires varie entre cinq et dix et parfois plus, et cela entraîne souvent une confusion dans la contribution exacte de chacun d’eux qui n’est pas distinguée par les indicateurs (les pratiques bibliométriques en sciences médicales sont détaillés dans le chapitre suivant). Tout cela démontre la nécessité que soit précisée très rapidement la notion d’auteur.

L’importance donnée aux indicateurs entraîne des effets pervers : elle incite ainsi souvent les chercheurs à adapter leur travail scientifique dans l’objectif de publier leurs articles dans une revue à facteur d’impact élevé, donnant la préférence à des sujets à la mode plutôt qu’à des recherches émergentes originales. De même, les références à des articles sont plus souvent choisies par opportunisme qu’en fonction de la qualité du travail cité. On peut observer d’autres manipulations pour faire croître les indicateurs sans pour autant améliorer la qualité de la recherche, modifiant ainsi la corrélation entre qualité scientifique et citation qui est la base même des indicateurs bibliométriques. Il faut donc des évaluateurs avertis pour déceler ces types de perversions.

Compte tenu de la complexité de cette analyse et de toutes ces dérives potentielles, il semble que seuls les pairs, ayant une connaissance précise des pratiques et du contexte disciplinaire, soient capables d’utiliser les indicateurs à bon escient. Ils peuvent particulièrement les utiliser dans le cas d’un très grand nombre de candidatures pour faire un premier tri. Cela leur est moins utile dans le cas de jurys mono-disciplinaires où les membres sont censés connaître les candidats.

La bibliométrie dans les sciences médicales

Le paysage de l’évaluation dans les sciences médicales est fortement influencé par la prise en compte explicite de l’activité de publication scientifique dans le financement des hôpitaux, suite à la réforme de 2004. Les hôpitaux sont en effet financés en fonction de leur « activité » de soins, après codification. L’accomplissement de certaines activités d’intérêt général, et notamment de l’activité de recherche (majoritairement effectuée dans les hôpitaux universitaires) ne rentrait pas dans ce modèle et fait donc l’objet d’une ligne budgétaire particulière (enveloppe MIGAC/ MERRI). L’activité de recherche est comptabilisée notamment grâce au recense- ment systématique des publications effectuées dans les hôpitaux, classées en trois catégories de qualité. L’activité de recherche d’un individu ou d’un service est mesurée par un nombre de points uniquement déterminé en multipliant l’indice de la revue (8 points pour une revue A, 4 points pour une revue B, 1 point pour une revue C) par un indice fondé sur le rang de signature (4 points pour un 1er signataire, 2 points pour un second ou dernier signataire, 1 point pour les autres). Le score varie donc de 1 à 32, et le financement (touché par l’hôpital de façon globale) est obtenu en multipliant ce nombre de points par la valeur du point.

Ce système a forcément une influence sur les modes d’évaluation des instances universitaires qui disposent d’un outil simple, et mis à jour, le logiciel SIGAPS. Cette évolution peut être favorable en forçant à mettre en évidence, plus clairement que ce n’était fait dans beaucoup de sections du CNU (Conseil National des Universités), les activités de recherche objectives des candidats. Il est bien évident cependant que l’automatisme ne doit pas être la règle. L’analyse des dossiers individuels est nécessaire pour identifier les publications où le chercheur évalué a eu l’initiative de la recherche — ou y a tenu un rôle essentiel — de celles, nombreuses, où il n’est qu’un signataire parmi d’autres ayant apporté l’usage d’un plateau technique, ou fourni un certain nombre des patients analysés. De ce point de vue, les rapporteurs ont comme guide les critères de Vancouver pour juger de la réelle contribution des auteurs.

Notons aussi que le logiciel SIGAPS ne fait pas de distinction entre une lettre à un journal, un article de revue, ou un article original. Certaines sections médicales ont bien conscience de l’ensemble de ces problèmes et éditent des guides publics à l’attention de candidats. Ceci devrait être encouragé. Par exemple, la section 4604 du CNU publie :

Le postulant doit démontrer sa capacité d’intégration, d’animation, de participation à une équipe de Recherche au sein de l’université dans laquelle il sera nommé, à la fois sur les activités de publication passées ou en cours, et sur les projets définis en accord avec la Direction de la Recherche Clinique du CHU (contrats, PHRC, STIC).

Le niveau de publications minimum requis est de cinq articles originaux en premier, deuxième ou dernier auteur dans des revues internationales, à facteur d’impact significatif de la discipline, rangs A ou B SIGAPS ou classification équivalente. La liste de publications permet d’analyser l’intégration du candidat au sein d’équipes de recherche, et de juger de sa capacité de publication.

L’analyse individuelle SIGAPS à jour permet d’analyser le profil de production scientifique du candidat. L’originalité des travaux, leur pertinence, la dynamique personnelle sont pris en compte ainsi que l’investissement dans la discipline (participations aux Congrès nationaux et internationaux).

Au moment du recrutement ou de la promotion des professeurs, il est également utile d’évaluer la production « de seconde génération » (c’est-à-dire celle des élèves du candidat. Les dossiers peuvent donc utilement faire apparaître la production de ceuxci).

Les recommandations de l’Académie des sciences

Au terme de cette analyse, il apparaît donc que les indicateurs sont des instruments de mesure importants et intéressants qui doivent être utilisés avec grande précaution, en tenant compte de règles incontournables. L’Académie des sciences, dans le rapport intitulé « Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs » [2] (http://www.academie-sciences.fr/activite/rapport/avis170111.pdf) qu’elle a remis à la Ministre Valérie Pécresse le 17 janvier 2011, a souhaité formuler un certain nombre de recommandations propres à en améliorer l’usage, en particulier pour l’évaluation individuelle des chercheurs. Elle les a regroupées dans les cinq grands thèmes suivants.

— L’utilisation des indicateurs bibliométriques pour l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures, à savoir : le support pris en considération doit être l’article et non la revue dans laquelle il est publié, les données doivent être validées, elles doivent être replacées dans la distribution du domaine, voire du sous-domaine, et même de l’âge dans la carrière, enfin l’utilisation des indicateurs pour l’évaluation doit toujours pouvoir être justifiée, et de la même façon une argumentation doit pouvoir être fournie si la décision prise ne correspond pas aux indices bibliométriques.

— La bibliométrie ne peut pas se résumer à des nombres mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques et si possible des articles eux-mêmes. En effet, la bibliométrie peut donner lieu à de graves erreurs d’appréciation comme en témoignent les faibles valeurs d’indicateurs observées chez certains très grands scientifiques reconnus par les plus hautes distinctions. Une solution serait d’examiner les cinq, dix ou vingt articles les plus cités du chercheur, comme le pratique l’ European Research Council (ERC), ainsi que les notices bibliographiques associées et de pouvoir consulter directement les articles correspondants, seul moyen pour apprécier la qualité des travaux, leur degré d’originalité, d’innovation, et de rayonnement. On peut aussi envisager d’autres méthodes consistant à étudier, quantifier, comparer la qualité des citations reçues par rapport à la revue, à la discipline. L’exemple de la base de données Mathematical Reviews permettant une analyse bibliographique des articles devrait être étendu à d’autres domaines.

— Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation : recrutements, promotions, contrats, distinctions, recherche fondamentale ou appliquée, car les critères sont différents, selon la discipline et même la sous-discipline car les habitudes de publication et de citation sont différentes, et selon l’âge dans la carrière. En particulier, il ne faut jamais utiliser les indices bibliométriques pour les chercheurs ayant moins de dix ans de carrière, et pour le recrutement des jeunes, en raison des nombreux biais possibles et du nombre restreint de publications. Pour eux, seules l’évaluation par les pairs, l’audition et la lecture des articles eux-mêmes doivent être pratiquées. De même, il faut éviter l’utilisation des indicateurs bibliométriques pour certaines disciplines telles que les SHS qui n’ont pas de bonnes bases de données et pour les mathématiques qui donnent lieu à peu de citations, et pour les champs interdisciplinaires. En revanche, la bibliométrie peut devenir une aide pour le recrutement des seniors, pour les promotions, ou pour une première sélection dans le cas d’un très grand nombre de candidatures, par exemple à des prix. Les indicateurs pourraient alors utilement figurer sur les curriculum vitae, y compris, d’ailleurs sur ceux des évaluateurs.

— La notion d’auteur doit être clarifiée. Selon les disciplines, un article peut être signé par un, plusieurs, ou beaucoup d’auteurs, ce dernier cas étant fréquent en biologie et en médecine. Il est alors très important que la hiérarchie des contributions apparaisse et que le rôle de chacun soit identifié au sein d’un article, ce qui n’est pas le cas actuellement. Il serait utile que la liste des publications d’un chercheur indique sa contribution exacte pour chaque article, et que les indicateurs bibliométriques soient améliorés pour en tenir compte. De même, il faudrait demander aux revues d’utiliser les Critères d’ authorship de Vancouver [3] qui précisent cette notion. Il pourrait enfin être profitable d’avoir des informations sur les co-auteurs de l’article.

— L’évaluation bibliométrique doit être l’objet de recherches pour en améliorer la valeur. La bibliométrie sera de plus en plus utilisée dans l’avenir à un niveau international pour apprécier la qualité de la recherche, des chercheurs, des équipes et des institutions. Il faut donc absolument faire progresser les indicateurs qu’elle va utiliser pour qu’elle devienne un outil utile, fiable et rigoureux, entre les mains des pairs. L’Académie des sciences recommande la formation d’un Comité de pilotage de l’évaluation bibliométrique, constitué d’un petit groupe d’experts représentant diverses disciplines et divers organismes, avec l’aide de l’Observatoire des Sciences et des Techniques (OST) qui est un opérateur public ayant déjà une expérience en matière de bibliométrie, en vue de fournir des directives à un niveau au moins européen.

CONCLUSION

Actuellement, la bibliométrie fait débat au sein de la communauté scientifique, que ce soit en France ou à l’étranger. De nombreux pays anglo-saxons l’utilisent cependant déjà officiellement pour évaluer les performances des universités et des organismes de recherche. Et au niveau individuel, son utilisation, bien que controversée, se généralise dans beaucoup de disciplines.

En résumé, la position de l’Académie des sciences est de revenir à une évaluation par les pairs améliorée, seule capable d’apprécier réellement la valeur des chercheurs, s’appuyant sur un bon usage de la bibliométrie en tenant compte de l’ensemble des recommandations incontournables qu’elle a formulées.

REMERCIEMENTS

L’auteur tient à remercier vivement Madame Brigitte d’Artemare pour son aide pré- cieuse dans la préparation du manuscrit, son confrère Denis Jérome avec lequel le rapport de l’Académie des sciences sur la bibliométrie a été rédigé, et son confrère Alain-Jacques Valleron pour le document fourni concernant l’utilisation de la bibliométrie dans l’évaluation de la recherche hospitalière.

BIBLIOGRAPHIE [1] Rapport de l’Académie des sciences, «

L’Évaluation individuelle des chercheurs et enseignants- chercheurs en sciences exactes et expérimentales », 2009.

[2] Rapport de l’Académie des sciences, «

Du bon usage de la bibliométrie pour l’évaluation indivi- duelle des chercheurs », 2011.

[3] Les Critères d’ authorship de Vancouver, Publications Ethics : Sponsorship and Accountability

International Committee of Medical Journal Editors, updated April 2010.

Bull. Acad. Natle Méd., 2011, 195, no 6, 1223-1233, séance du 28 juin 2011