Des évaluateurs trop bienveillants : ce que l'IA fait déjà à la science

D'après Science, le nombre de papiers scientifiques entre 2020 et 2025 a doublé, ce qui cache un nombre de soumissions encore plus grand^[3]. Du côté des demandes de financement, j'avais assisté en première ligne en 2025 à l'augmentation massive du nombre de dépôts sur les dispositifs Horizon Europe^[4].

Les financeurs commencent à prendre des mesures qui sont explicitement motivées par l'IA générative. En juillet 2025, le NIH américain, premier financeur public de recherche biomédicale au monde, a plafonné le nombre de candidatures à six par chercheur et par an, en motivant sa décision par l'afflux de propositions générées par IA^[5].

Et ce qui arrive en amont du système laisse penser que ce n'est que le début d'une transformation bien plus profonde. Matthew Schwartz, physicien à Harvard, a raconté récemment une expérience menée en résidence chez Anthropic : en trois mois, avec dix-neuf co-auteurs et l'aide intensive de Claude, 36 manuscrits produits dans 18 disciplines différentes^[6]. Le signal est clair : même en mettant de côté l'IA slop, la capacité de production d'articles et de propositions a changé d'échelle.

L'évaluation, qui repose encore sur le temps non rémunéré de relecteurs, était en réalité déjà à bout avant l'arrivée de l'IA. Côté financements, le même épuisement se lit de l'autre côté du guichet : passer des dizaines d'heures sur un dossier dont le taux de succès se compte en pourcents, avec des codes d'écriture et des attentes parfois opaques pour les chercheurs, incite forcément à gagner du temps avec les outils qui le permettent. L'IA ne fait donc pas irruption dans un système sain : elle s'engouffre dans un système à bout. C'est ce qui explique la vitesse de son adoption : pour son édition 2026, AAAI a déjà mis en place un pilote de review par IA, et près de 23 000 articles ont reçu, en plus d'au moins deux relectures humaines, une relecture générée par un modèle de la famille GPT-5^[1].

C'est aussi ce qui rend la question des choix des outils, notamment via les contraintes des institutions et organismes de tutelle, si difficile à poser : un système épuisé qui adopte l'outil qui le soulage n'est pas en position d'examiner l'outil. Les usages se développent bien plus vite que les décisions sur les cadres. D'après une enquête rapportée par Nature auprès de 1 600 chercheurs, plus de la moitié utilisent déjà des outils d'IA dans leurs activités de relecture, le plus souvent à rebours des consignes des revues^[7]. La plupart des journaux interdisent encore l'IA à leurs relecteurs, le temps de définir un cadre ; pendant ce temps, résume un chercheur interrogé par Science, « people are using these tools in a clandestine, unregulated way. It's kind of the Wild West out there now »^[3]. Je l'observe aussi sur l'écriture de grants : les modèles frontières américains sont utilisés dans les instituts français et européens, par les chercheurs comme par les fonctions support, y compris là où les consignes officielles affichent la souveraineté. Or ce qui circule dans ces usages n'a rien d'anodin : ce sont des manuscrits non publiés, des reviews confidentielles, des projets qui n'ont pas encore trouvé leur financement. Autrement dit, c'est la recherche européenne de demain qui est versée aux infrastructures de quelques acteurs privés américains. Les contraintes institutionnelles ne décident donc pas, aujourd'hui, de quels outils entrent dans le système : elles courent après les usages.

L'intelligence artificielle transforme déjà l'ensemble du système de recherche scientifique : écriture et évaluation des articles, rédaction et instruction des demandes de financement et même conduite de la recherche elle-même.

Les valeurs cachées dans les outils

C'est ici que l'article de Nitin Verma, chercheur en sciences de l'information, apporte le résultat qui devrait nous arrêter^[1]. Il a testé six modèles d'OpenAI sur 137 manuscrits soumis à la conférence ACL 2017, en leur demandant de les évaluer. Quatre modèles sur six ont accepté la quasi-totalité des articles, et les deux plus récents environ les deux tiers, là où le taux d'acceptation réel de la conférence était inférieur à 25 %.

Ce comportement est le produit direct de la conception des LLMs : ils doivent être des assistants agréables et serviables. Verma relève que les modèles testés expriment fortement des valeurs comme la bienveillance, le soin, la tolérance. Ce sont d'excellentes valeurs pour un assistant conversationnel. Ce sont presque exactement les valeurs inverses de celles sur lesquelles repose l'évaluation par les pairs, théorisées par le sociologue Robert Merton : le scepticisme organisé, la critique désintéressée^[8].

Ce diagnostic se retrouve dans la science assistée par l'IA. Schwartz décrit son coéquipier dans ces termes : « Claude loves to declare victory », « Claude loves to please ». Cette propension à vouloir plaire donne souvent des résultats techniquement corrects mais scientifiquement banals tant qu'un expert du domaine ne vient pas recadrer la direction^[6].

Deux observations indépendantes, l'une côté évaluation, l'autre côté production, du même phénomène : les valeurs du modèle influencent ses résultats.

Ce débat sur les valeurs m'a rappelé les formations que je donnais aux équipes d'innovation et de R&D de grands groupes industriels, à une époque où leur métier traversait un autre changement profond : intégrer les enjeux environnementaux à leurs processus de développement technique, et donc apprendre à voir les valeurs à l'œuvre dans leurs choix techniques.

J'utilisais un exercice de prospective en deux temps. D'abord, les équipes imaginaient la journée type d'un persona dans 10, 20 voire 30 ans, basée sur une innovation produit qu'ils anticipaient dans leur secteur ; la proposition technologique était racontée non pas du point de vue des specs techniques mais comme une anecdote de la vie quotidienne. Le second temps était plus inconfortable : j'imposais aux équipes un ensemble de valeurs et je leur demandais de réécrire exactement la même histoire. Comment la même connaissance scientifique, les mêmes capacités techniques, se transformaient au service d'autres valeurs ? À chaque session, la même chose se produisait : le futur changeait du tout au tout, parfois l'objet technique changeait même de nature.

Dans l'étude de cas issue du monde des parfums et arômes, les participants avaient imaginé Samantha, vingt-huit ans, habitante d'une tour auto-suffisante à Paris, et sa technologie du quotidien : son assistant personnel intelligent capte sa contrariété et décide d'embaumer la cuisine d'une odeur apaisante, via une capsule glissée dans ce qui ressemble à une machine à expresso. Puis les valeurs imposées sont arrivées : « le naturel avant tout » et l'autonomie. Les équipes ont réécrit la scène. L'assistant personnel a disparu. Samantha, toujours contrariée, met elle-même en route un terrarium et ce sont des bactéries productrices d'odeurs qui s'y trouvent et sont à l'origine de l'odeur. Les équipes R&D, et leur connaissance fine des odeurs et de leur action sur les états émotionnels, sont les mêmes. Mais les valeurs n'ont pas seulement changé l'usage, elles ont changé l'objet : une machine à capsules pilotée par un assistant dans un cas, une biotechnologie qu'on met soi-même en route dans l'autre.

Cet exercice était particulièrement puissant pour les participants des départements R&D et recherche : il ne suffit pas de penser les développements techniques, il faut aussi choisir les valeurs sur lesquelles ils s'appuient.

Sans prendre en compte les valeurs des LLMs, optimisées pour un tout autre usage, l'évaluation scientifique devient complaisante et ne fait pas le travail sur lequel on l'attend.

Reprendre la main : construire des outils qui répondent à nos valeurs

Dans un essai précédent^[9], j'ai décrit deux choix de conception qui ont structuré un outil d'IA sur lequel j'ai travaillé pendant 3 ans : une logique du monde, c'est-à-dire une description explicite des objets qui existent dans un domaine et de leurs relations ; et des portes informationnelles, c'est-à-dire la liste des informations qui doivent être réunies avant que le système n'agisse (nombre d'objets connus, relations entre ces derniers), avec refus d'avancer tant qu'elles manquent.

Des outils d'aide à l'évaluation existent déjà et s'améliorent vite ; l'article de Science en recense plusieurs, et je ne prétends pas qu'il n'existe qu'une seule manière de bien les construire^[3]. Mais une approche possible, pour éviter les écueils déjà documentés (notamment la complaisance et la difficulté récurrente à juger de la nouveauté), est de formaliser la logique du monde de ce métier et de définir ses portes informationnelles : la liste des informations nécessaires à avoir avant qu'une évaluation solide puisse être produite. Ainsi, une étude parue dans PNAS, qui a examiné les « autonomous AI scientists », recense quatre défauts méthodologiques presque invisibles dans les articles finaux produits et recommande d'exiger, avec l'article, les journaux d'exécution et le code du système^[10]. À mesure que de nouvelles façons de produire la connaissance vont se développer, la définition des informations nécessaires à une bonne évaluation va profondément évoluer.

Produire cette logique du monde est un travail de fond qui demande les praticiens du métier. C'est en choisissant les différentes portes qu'on choisit les valeurs qui seront au cœur du fonctionnement, ce qui rejoint le constat de Verma.

Ce travail a d'ailleurs été réalisé par Schwartz, même s'il ne le nomme pas comme ça. Face aux défauts de son coéquipier, Schwartz n'a pas fait confiance au modèle : il a construit BootLoops, un cadre de travail open source où un résultat de calcul n'est acquis que s'il franchit des portes d'acceptation explicites : un accord numérique à trente décimales entre méthodes indépendantes, des relectures adversariales entre agents, une arithmétique certifiée conçue pour que les calculs « ne puissent pas être silencieusement faux »^[11]. C'est une logique du monde écrite, avec ses portes informationnelles, dictée par les valeurs du calcul scientifique : la vérifiabilité, l'exactitude, la méfiance de principe.

Si ce travail n'est fait nulle part pour l'évaluation par les pairs, ce n'est pas seulement une question de moyens. Le monde scientifique n'aime pas parler de ses valeurs : il s'est construit sur un idéal de neutralité qui renvoie ce vocabulaire à la politique ou à la morale, et le questionnement a toujours dérangé.

L'IA ne lui laisse plus ce confort. Les valeurs sont déjà dans les outils, avec des conséquences mesurables.

L'évaluation par les pairs telle que nous la pratiquons est un artefact historique : elle a été formalisée au milieu du XXe siècle pour un monde où les manuscrits étaient rares et l'attention des experts relativement disponible. L'IA inverse ce rapport, et demander à des modèles d'imiter le relecteur d'hier revient à automatiser un système conçu pour un monde qui n'existe plus. Schwartz le dit au terme de son expérience : il ne sait plus comment former ses doctorants, et il demande pourquoi solliciter trois ans de financement pour un problème qu'un modèle pourrait résoudre en une nuit^[6]. Ce ne sont pas des questions d'outillage. Ce sont des questions d'organisation du système scientifique, et elles sont posées, que nous y répondions ou non.

Le moment est venu de poser réellement la question de la refonte : non pas ajouter de l'IA au système d'hier, mais repenser l'évaluation, les financements, la formation et les infrastructures pour le monde où ces outils existent. C'est la question qui se pose désormais à nos institutions scientifiques, et elle dépasse les lois et les règlements : c'est une question de normes et de valeurs.