07| La première étude du Pr Raoult
Bonjour à toutes et tous !
Je continue la chronologie en passant maintenant à la première étude du Pr Raoult ... étude très importante dans son épopée politico-médiatique car après cette étude il est devenu évident pour lui et ses fidèles que l'effet de la chloroquine était prouvé (et que toute critique était forcément un mensonge).
D'ailleurs à l'époque (mi Mars je crois) il a présenté les résultats de cette étude avec un tel enthousiasme (repris par plein de journaleux aussi ignares scientifiquement qu'un enfant du CM2) que le monde semblait sauvé.
Hélas, une nouvelle fois, son "protocole expérimental" tenait plus de l'arnaque pure et simple que de l'étude scientifique.
Car, alors que les journalistes et les incultes criaient victoire, le monde scientifique (dumoins celui des sciences "dures") hallucinait en constatant que de telles conclusion auraient été tirée à l'aide d'un échantillon de taille ridiculement petite :
une vingtaine de patients (je reviendrai là dessus une autre fois le chiffre exact est un peu difficile à cerner à cause de grossières manipulations).
Alors là ce n'est pas la peine d'avoir un niveau très élevé en statistique pour avoir compris qu'avec un tel échantillon on ne va pouvoir rien conclure du tout ... prétendre le contraire (comme il l'a fait) relève de la tromperie pure et simple.
Pourquoi faut-il un échantillon de grande taille ?
Je vous donne ici un exemple pédagogique simple afin de vous illustrer le concept.
Intéressons nous à l'expérience aléatoire qui consiste à lancer un dé et supposons que l'évènement qui nous intéresse est "obtenir 6".
De manière théorique les probabilités nous disent que cet évènement à une probabilité de survenue de 1/6 soit plus ou moins 16.7%.
[ si vous préférez un contexte médical imaginez une maladie grave avec une probabilité de survie de seulement 16.7% ]
Si l'on veut cerner ce phénomène en pratique pourquoi est-on
obligé de passer par un échantillon de grande taille ?
Et bien tout simplement car sinon l'effet du hasard va être prépondérant et va absolument tout fausser.
Voici deux applications :
1) échantillon de taille 5
Supposez qu'on lance 5 fois le dé et qu'on obtienne (par exemple) : 3 / 6 / 1 / 6 / 6
[ contexte médical on prend seulement 5 patients et 3 guérissent ]
Au vu de cet échantillon et d'un "coup de bol" il apparait statistiquement donc qu'il y a eu 3/5=60% de résultats avec 6.
[ contexte médical 60% de guérison ... waou ma méthode est géniale !!! cqfd c'est prouvé par des chiffres ]
Comme vous pouvez le constater la vraie probabilité (16.7%) est extrêmement éloignée du résultats observé (60%).
Cela vient du fait qu'il ne faut surtout pas confondre - surtout sur un petit échantillon - la réalité avec l'observation très fortement entachée par le hasard.
Vous noterez aussi que l'exemple donné n'est pas du tout quelque chose d'impossible, jouer au Yams et obtenir du premier coup un brelan de 6 ce n'est pas quelque chose d'impossible loin de là ... (et si on est malhonnête on peut de plus forcer le hasard en relançant un des dés ...).
Alors que dire proprement de ce 60% ?
Ce chiffre ne mesure pas la réalité mais seulement une estimation de la réalité (qui est de 16.7%) et il est comme tout estimateur entaché d'une variabilité inhérente à son calcul (la notion d'écart-type pour ceux qui connaissent) qui dans cet exemple vaut exactement aussi 16.7% (la formule de calcul est racine carré de p(1-p)/5 ... c'est lié à la loi binomiale).
Concrètement pour aller droit au but cet écart type est lié au "plus ou moins" associé à la qualité de l'estimation et ici le résultat obtenu nous dit proprement que le 60% expérimental doit s'interpréter de la manière suivante : la vraie probabilité cherchée est dans l'intervalle (ça s'appelle la règle des 3-sigmas) : [ 60% +/- 50% ] soit dans l'intervalle [ 10%,100% ]
Donc le 60% observé expérimentalement peut-il être utilisé directement (comme le font sans cesse certains qui ne comprennent rien à la notion de variabilité) ? NON
Il nous dit juste que la vraie probabilité cherchée est supérieure à 10% ... ce qui nous fait une belle jambe.
[ contexte médical ... on croit avoir "prouvé" que l'on guérit 60% des gens alors qu'on juste prouvé avoir une méthode permettant de guérir plus de 10% des gens en réalité ... donc on n'a rien prouvé du tout ! ]
2) échantillon de taille 1000
Si l'on prend maintenant un échantillon conséquent plus sa taille sera grande plus l'effet du au hasard va diminuer (c'est pour cela que, par exemple, l'état ne perd jamais au Loto ou un Casino ne fait jamais faillite ...).
Ce sont les théorèmes mathématiques dits "lois des grands nombres".
Si vous préférez dans le petit échantillon un a eu (par chance) 60% de 6 obtenus, sur 1000 lancers il est quasiment impossible d'obtenir 600 fois 6
[contexte médical : on ne pourra jamais avoir "par coup de bol" 600 guéris à la fois ... ]
Je viens de lancer une simulation sur l'ordinateur il il vient de me donner : 170 valeurs "6" observées.
Donc on a ici comme estimation de la réalité (qui est de 16.7%) la valeur 17.0%.
La variabilité inhérente à son calcul (écart-type) vaut cette fois 1.2% (racine carré de p(1-p)/1000).
Conclusion : la vraie probabilité cherchée est dans l'intervalle (règle des 3-sigmas) : [ 17.0% +/- 3.6% ] soit dans l'intervalle [ 13.4%,20.6% ].
Cette fois nous avons un résultat fiable, honnête et interprétable !
Et de plus répétable ... car des avec un si grand échantillon si l'on refait l’expérience on sait que les variations seront infimes ... (semaine après semaine l'état n'est pas mis en faillite par le Loto ... enfin pas l'état "la française des jeux plutôt).
Conclusion : une étude sur un si petit échantillon que celui utilisé par le Pr Raoult ne montre RIEN DU TOUT, c'est mathématique (mais cela ne l'a pas empêché de crier victoire).
Faut pas parler aux cons, ça les instruit.