Nous mettons parfois en ligne sur ce blog des études annoncées comme scientifiques et sérieuses, qui veulent prouver toutes sortes de choses. Celles que nous choisissons sont, bien entendu, en contre-pied par rapport à ce qui semble être bien établi – comme par exemple celle qui démontre que le sport est dangereux pour la santé. Nous aurions pu aussi reprendre ici une étude qui a fait du bruit ces jours-ci dans la presse, en affirmant que le surpoids augmente l’espérance de vie.

Il est, en fait, très probable que ces études s’appuient sur des analyses biaisées. Volontairement.

Comme le disait déjà Mark Twain au XIXe siècle : « Il y a trois types de mensonges : les mensonges, les sacrés mensonges et les statistiques ». Ou plutôt, certains statisticiens peu scrupuleux, capables de faire dire aux chiffres tout ce qui les arrangent.

Et ils sont légions parmi les scientifiques, semble-t-il. John Ioannidis, un épidémiologiste effaré par tout ce qu’il lisait, a écrit en 2005 l’article le plus téléchargé de la revue scientifique en ligne PLoS. Le titre est sans ambiguïté : « Pourquoi la plupart des découvertes publiées sont fausses« .

Son explication (avant d’en venir à sa démonstration) est toute simple : parce que, de tous les travaux scientifiques, ceux qui ont le plus de chances d’être publiés sont ceux qui décrivent des « découvertes ». Il est beaucoup moins excitant de rendre public une étude qui n’a abouti à aucun résultat – et pourtant, cette information-là aussi serait utile à tous les autres chercheurs. Mais l’égo étant ce qu’il est, chacun préfère voir son nom attaché à une découverte plutôt qu’à un échec.

C’est ainsi qu’on a eu droit ces dernières années à la prétendue découverte des gènes de la schizophrénie, de l’alcoolisme ou de l’homosexualité, aussi bidons les uns que les autres.

Le mécanisme mis en œuvre pour obtenir ce qu’on veut à partir de données observées est toujours le même : présenter comme significatif un résultat qui ne l’est pas.

C’est très facile : il suffit d’ignorer toutes les données qui ne collent pas avec ce qu’on veut démontrer. On les déclare comme « non significatives » ou « non pertinentes ». Du coup, il ne reste plus que celles qui vont dans « le bon sens », c’est-à-dire celui que l’équipe de chercheurs veut à tout prix voir se confirmer.

Une façon complémentaire de faire coller les données avec ce que l’on essaye de prouver est de réduire la taille de l’échantillon observé (un truc souvent employé dans les sondages d’opinion faits à la va-vite). Il existe quelques autres astuces malhonnêtes de ce genre.

Le problème, c’est que si la « découverte » attire vraiment l’attention d’autres chercheurs par son côté surprenant, certains vont tenter de reproduire l’expérience et là… ils peuvent tout-à-fait tomber sur des résultats complètement différents, si ce n’est à l’opposé.

Un exemple ? En 2001, des chercheurs ont affirmé que les produits laitiers favorisaient le cancer de la prostate. Ils avaient analysé des données sur quelques centaines de patients pour parvenir à ce résultat qui a ensuite été largement repris – et amplifié – sur le web. Quelques années plus tard, une vraie étude digne de ce nom portant sur 80 000 personnes suivies pendant dix ans démontrait qu’il n’y avait aucun lien entre ce type d’alimentation et ce cancer.

Et c’est tout à l’avenant pour des tas d’autres études. En 2005, John Ioannidis avait conclu que sur environ 10 000 articles publiés par an sur l’implication des gènes dans tout et n’importe quoi, 99% étaient tout simplement faux.

Il a récidivé en 2012 : il s’est amusé avec un collègue à prendre 50 aliments de base utilisés dans un livre de recettes de cuisine traditionnelle édité en 1911.

Puis ils ont fouillé dans les bases de données de publications si des études leur avaient été consacrées. Dans 80% des cas, ces études étaient biaisées de façon plus ou moins grossière. Et dans 70% des cas, il existait à la fois une étude indiquant que tel aliment favorisait un type de cancer et une autre démontrant qu’il n’en était rien.

Dans les années 90, j’avais assisté à une conférence d’un grand chercheur. Il démontait – brillamment – plusieurs années de résultats truqués d’un ponte très connu, assis au premier rang face à lui, qui aimait un peu trop les médias et enchaînait donc les annonces fracassantes sur des sujets hyper pointus qu’aucun journaliste et peu d’autres chercheurs étaient capables de vraiment analyser. Le conférencier avait conclu, avec une verve impitoyable :

« Les données torturées par les suppositions avouent n’importe quoi ».

Pensez-y la prochaine fois qu’un média fera ses gros titres sur une nouvelle étude aux résultats exagérément anxiogènes (la « pandémie » de grippe A qui allait tous nous tuer si on ne se vaccinait pas) ou un petit peu trop paradoxaux (grossir permet de vivre plus vieux).

Très belle journée à vous

Cette note est largement basée sur un excellent article de Pierre Barthélémy intitulé « Le cancer est-il vraiment dans notre assiette ? » ainsi que sur quelques souvenirs personnels. La photo de Mark Twain vient de Wikipedia.