Vers une recherche reproductible, pas à pas.

En avril dernier, l'URFIST de Bordeaux organisait un book sprint challenge sur le thème de la reproductibilité de la recherche. De cette rencontre est issu le livre Vers une recherche reproductible. Rencontre avec Arnaud Legrand, directeur de recherche au laboratoire d'informatique de Grenoble, l'un de ses auteurs.

Le verbatim qui suit est extrait et adapté de l'interview audio.

G.L : Qu'entend-on par recherche "reproductible" ?

A.L : Cette notion a des acceptions un peu différentes et recouvre des enjeux qui peuvent être distincts selon les domaines. De façon générale, on peut dire que toute expérience implique des conditions spécifiques et des mesures précises destinées à infirmer ou confirmer une hypothèse. Si nous menons tous deux la même expérience, nous ne pourrons en tirer un enseignement qu'à condition que nous observions la même chose. Mais parfaitement contrôler une expérience est quelque chose de primordial mais de très difficile, surtout dans les domaines du vivant.

G.L : Pourquoi est-il si important de pouvoir reproduire des expériences menées antérieurement par d'autres chercheurs ?

A.L : Tout simplement parce que si je construis une théorie sur une expérience que je suis le seul à avoir mené, la portée de cette théorie risque d'être un peu limitée... En outre, la science ne progresse qu'en capitalisant sur les réalisations antérieures. C'est le sens de la fameuse phrase de Newton à Robert Hooke : "Si j'ai vu plus loin, c'est en montant sur les épaules de géants". En permettant de reproduire les expériences, on se donne les moyens de fournir à d'autres le protocole expérimental, les données, la façon de mesurer, de faire l'analyse, etc.

G.L : Ce schéma-là, qui semble au fondement même de la science, est-il menacé ? Qu'est-ce qui vaut autant de débats et d'articles sur cette question aujourd'hui ?

A.L : Depuis deux ou trois siècles, la science est devenue de plus en plus technique. Cela a entrainé une spécialisation des chercheuses et des chercheurs. De sorte que les résultats de recherche sont toujours le fruit du travail de plusieurs personnes, chacune spécialiste de son domaine. Du coup, les risques d'erreurs sont importants, notamment aux interfaces. Globalement, la complexité de la science rend sa reproductibilité bien plus difficile qu'auparavant.

G.L : On peut donc parler de "crise" de la reproductibilité ? Ou ce terme est-il abusif ?

Parler de "crise" a un avantage : attirer l'attention sur un sujet, tirer un signal d'alarme. C'est d'ailleurs un terme que j'employais au début lorsque que je m'exprimais sur ce thème. Mes interventions publiques étaient volontiers alarmistes. Je me suis aperçu que c'est un discours qui peut interpeler une partie de la communauté scientifique mais qui peut avoir des effets contre-productifs.

G.L : Lesquels ?

A.L : Stigmatiser, culpabiliser les collègues. Ce n'est pas ainsi que l'on fait bouger les pratiques, je pense. D'autant que, la fraude, la méconduite scientifique existent, certes, mais sont marginales ! Lorsque l'on parle de problèmes de reproductibilité, on parle le plus souvent d'erreurs.

G.L : La concurrence internationale des équipes de recherche est-elle une autre cause de ces difficultés ?

A.L : C'est sans doute une cause aggravante. La concurrence et la pression que nous subissons peuvent nous pousser à aller vite, à ne pas toujours prendre autant de temps qu'il faudrait pour fignoler certaines choses, à ne pas vouloir partager nos données car cela donnerait aux autres chercheurs un avantage concurrentiel, etc.

Mais l'internationalisation de la recherche est aussi une source de progrès des pratiques. Cela a été le cas ces dernières années avec la communauté des chercheurs en deep learning, qui a changé sa façon de publier. Dans ces disciplines, les principales conférences sont en open reviews : quand on soumet un article, les reviews, le code et les données sont disponibles rapidement, etc.

G.L : Les chercheuses et chercheurs vous paraissent-ils aujourd'hui suffisamment conscients des enjeux liés à la reproductibilité de la recherche ?

A.L : La sensibilisation progresse depuis une dizaine d'années, notamment parce que ces sujets sont transdisciplinaires. La preuve, c'est que l'on voit de plus en plus d'articles sur ces sujets, que l'Europe parle de FAIRisation des données, que le plan stratégique scientifique d'INRIA traite ces sujets, qu'un Mooc a été lancé sur ce thème, etc. Les choses bougent très vite.

G.L : Trop vite ?

A.L : Il faut prendre garde à la tentation, parfois, de vouloir faire table-rase du passé. Il n'y a pas de recette toute faite en matière de reproductibilité, notamment parce que les difficultés rencontrées sur ces sujets qui mêlent de nombreuses dimensions ne sont pas les mêmes d'une discipline à une autre.

G.L : En avril, une journée sur ces thèmes a été organisée à Bordeaux...

A.L : Il s'agissait d'une rencontre organisée à l'initiative de Sabrina Granger à l'URFIST de l'Université de Bordeaux. Elle nous a proposé de réaliser un livre à plusieurs mains sur les enjeux et solutions de la recherche reproductible. Chacun pense avoir de bonnes raisons de ne pas se sentir concerné par les enjeux de recherche reproductible. L'une des idées de notre démarche était de montrer que ces questions concernent tout le monde.

G.L : L'ouvrage s'appelle "Vers une recherche reproductible". De quoi parle-t-il ?

A.L : Le livre commence par un état des lieux, avec des exemples de difficultés vécues par des professionnels de la recherche. Une seconde partie identifie les sources de problèmes en matière de reproductibilité. Une dernière partie liste quelques propositions de solutions, selon les difficultés que l'on rencontre.

G.L : Un exemple de solution ?

A.L : Tenir à jour un cahier de laboratoire, sous forme électronique ou autre, qui trace au quotidien les expériences menées. Cela paraitra une évidence à beaucoup, mais dans certaines disciplines, comme la mienne, cette habitude n'est pas universelle. Cela permet pourtant de donner accès à ces informations à d'autres collègues, de disposer d'un meilleur suivi, d'avoir des articles plus riches et circonstanciés et, au final de faire de la meilleure science.

Ce n'est évidemment qu'un exemple. Les solutions universelles qui règlent toutes les questions n'existent pas. Mais il y a des petites choses simples à mettre en oeuvre dans son quotidien de chercheuse ou de chercheur.

Plus d'infos et liens utiles :

• Vers une recherche reproductible, faire évoluer ses pratiques [ePub], [HAL]
• le MOOC sur la recherche reproductible ;
• Unité Régionale de Formation à l'Information Scientifique et Technique (URFIST) de Bordeaux