résultats expérimentaux

Bonjour,

D’après l’article de Pierre Barthélémy : Une étude ébranle un pan de la méthode scientifique, pour éliminer la possibilité d’un faux positif, les chercheurs se fondent sur la valeur p de l’analyse statistique :

Définition

Ce nombre est utilisé en statistiques inférentielles pour conclure sur le résultat d’un test statistique. La procédure généralement employée consiste à comparer la valeur-p à un seuil préalablement défini (traditionnellement 5 %). Si la valeur-p est inférieure à ce seuil, on rejette l'hypothèse nulle en faveur de l’hypothèse alternative, et le résultat du test est déclaré « statistiquement significatif ». Dans le cas contraire, si la valeur-p est supérieure au seuil, on ne rejette pas l’hypothèse nulle, et on ne peut rien conclure quant aux hypothèses formulées.
Cette utilisation effective de la valeur-p est fréquemment remise en question, notamment dans les sciences humaines où les statistiques inférentielles sont la principale source de validation des hypothèses scientifiques. En effet, l’utilisation courante de la valeur-p résulte d’une confusion entre deux approches statistiques incompatibles : d’une part l’approche de Ronald Fisher, et d’autre part l’approche défendue par Jerzy Neyman et Egon Pearson.
Source : Wikipedia


Or, il semble d’après le statisticien Valen Johnson que dans le domaine de la recherche le seuil de 0,05% utilisé par convention soit insuffisant, ce qui entraîne une certaine proportion d’expériences non reproductibles :

Ce seuil de 0,05 (beaucoup plus bas dans les sciences physiques) est une convention de longue date. Or, si l'on en croit le statisticien américain Valen Johnson (Texas A&M University), c'est ce seuil qui est probablement à la source de la crise de reproductibilité de la science. Dans un article publié le 11 novembre dans les Proceedings de l'Académie des sciences américaine (PNAS), ce chercheur a voulu tester la robustesse, la rigueur, de l'approche statistique universellement employée par les scientifiques. Pour ce faire, il l'a comparée avec l'approche dite de l'inférence bayésienne, qui adopte un point de vue différent. Pour schématiser, l'analyse classique explore les données recueillies pour en faire surgir un effet significatif qui ne peut s'expliquer autrement que par l'hypothèse de travail, tandis que l'inférence bayésienne met deux hypothèses en concurrence et évalue les chances que l'une soit vraie par rapport à l'autre, à la lueur des données mais aussi des informations connues au préalable sur le sujet, comme par exemple les résultats d'autres travaux.
On voit bien qu'on ne mesure pas exactement la même chose. Tout le travail de Valen Johnson a consisté à rapprocher les deux méthodes pour examiner si leurs critères de validation se recoupaient. Le résultat est fort instructif et pourrait ébranler le paradigme de "la valeur p inférieure à 0,05". A l'aune de l'approche bayésienne, ce seuil est tout simplement insuffisant. Pour résumer, une hypothèse qui passe de justesse sous cette barre n'a en réalité que de 3 à 5 chances contre 1 d'être vraie. Selon le statisticien, il se pourrait donc bien qu'une proportion non négligeable d'études se contentant de ce seuil soient tout simplement fausses. Valen Johnson estime qu'en étant optimiste, le phénomène pourrait concerner entre 17 et 25 % des articles en question ! Un taux qui, selon lui, serait cohérent avec la proportion de travaux dont on n'arrive pas à reproduire les résultats.
Source : Une étude ébranle un pan de la méthode scientifique, Pierre Barthélémy

Pour mieux comprendre comment le « petit p » est utilisé dans le domaine de la recherche expérimentale et de la médecine, vous pouvez aussi parcourir plusieurs articles de Science Etonnante et Freakonometrics :
- Comment être sûr qu’un résultat scientifique est vrai ?
- Les probabilités conditionnelles (Bayes level 1)
- De la significativité (statistique), suite
Ou encore le tutoriel sur les statistiques d’explorable.com


Pour approfondir, quelques ouvrages :

- Biostatistique : une approche intuitive / Harvey J. Motulsky; traduction de la 2e édition anglaise par Michèle Dramaix-Wilmet
- Biomathématiques, probabilités, statistiques : UE 4, coordonné par Simone Bénazeth, Chantal Guihenneuc, Paul Landais; par Mohammed Chiadmi, Emmanuel Curis, Patrick Deschamps... [et al.]
- Comprendre et réaliser les tests statistiques à l'aide de R : manuel de biostatistique, Gaël Millot


Bonne journée.