Du bon usage des statistiques
ou comment un raisonnement peut être faussement scientifique


" Il y a trois sortes de mensonges  : les mensonges, les sacrés mensonges et les statistiques ", disait Mark Twain. Nous allons essayer de montrer que l’on peut faire dire effectivement n’importe quoi à des données statistiques si on n’utilise pas le raisonnement adéquat, et analyser pour ce faire le programme UMP sur l’éducation.


On y apprend que les performances éducatives de la France sont juste dans la moyenne OCDE, en se référant aux enquêtes PISA, alors que notre pays dépense pour l’éducation davantage que ses partenaires au sein de l’OCDE (les pays qui dépensent plus que la France sont les pays d’Europe du nord et les Etats-Unis). On constate que la Finlande arrive en tête des pays développés pour les performances des élèves aux enquêtes PISA. Le rapport cherche alors des causes à cette réussite et fait la liste de certaines caractéristiques du système finlandais : autonomie des écoles, des enseignants, niveau de formation élevé des enseignants (bac + 5), enseignement équitable (écart entre meilleurs et moins bons élèves moindre en Finlande que dans les autres pays), classes volontairement hétérogènes avec intégration maximale des élèves ayant des besoins spéciaux (mais ces élèves bénéficient de professeurs spécialisés soit en aide personnalisée soit pendant le cours de l’autre professeur), pas de redoublements.

En conclusion le rapport indique ce que l’OCDE considère comme " facteur causal " (voir définition infra) indispensable à un système scolaire performant : autonomie des établissements, hétérogénéité des classes, et absence d’orientation trop précoce (on a laissé au passage le haut niveau de qualification des enseignants : trop cher ?)…


Passons rapidement sur un grand nombre de données discutables : qu’appelle-t-on " classe hétérogène " et donc quel est le niveau acceptable d’hétérogénéité ? qu’appelle-t-on " performance du système scolaire " et donc quels sont les critères sur lesquels se basent les enquêtes PISA ? quelles sont les épreuves passées (on a déjà vu en effet des résultats de tests interprétés dans le sens qui arrangeait les concepteurs de ces tests) ? comment interpréter les résultats des enquêtes ? (En effet, le rapport UMP indique un tableau - p. 24 - censé donner les scores moyens des élèves français, mais on ne sait pas ce que représentent les nombres affichés : 496 par exemple en compréhension de l’écrit pour les Français, 543 pour les Finlandais ; sachant que la moyenne est de 500 - mais 500 quoi ? - , l’écart entre Finlandais et Français est-il statistiquement significatif ?)… Laissons donc ces données de côté , et voyons le raisonnement utilisé, en supposant qu’effectivement on a montré que les élèves finlandais réussissent mieux que les autres…

Pour les auteurs du rapport, " corrélation est causalité ", or une enquête d’observation ne peut à elle seule établir que des corrélations : c’est donc une erreur de raisonnement. Précisons la définition de " causalité " en statistique : un facteur est causal pour l’évènement s’il provoque une augmentation de probabilité de celui-ci.

On comprendra beaucoup mieux cette notion en prenant un exemple médical : on a mis quelques dizaines d’années à établir qu’une des causes de cancer des bronches était le tabac ! On observait que ce cancer était plus élevé chez les fumeurs que chez les non fumeurs. Cependant, ces deux groupes étaient-ils comparables ? Les enquêtes confirmaient que non ! Les fumeurs différaient des non fumeurs par des traits sociaux et psychologiques, par la situation familiale, la consommation d’alcool et de café, la taille même ! On ne pouvait donc imputer au tabac, d’après cette seule enquête, la responsabilité du cancer des bronches ! Il a fallu utiliser les méthodes statistiques pour arriver à une présomption forte de causalité. Avec cette erreur de raisonnement, on peut même prendre l’effet pour la cause ! Exemple : 70 % des gens meurent au lit ; si corrélation est causalité, on en conclut qu’il ne faut surtout pas se coucher !


Or on impute de même aux trois facteurs cités ci-dessus la " réussite " (à prouver) du système scolaire finlandais, alors que les pays de l’OCDE ne diffèrent évidemment pas par ces seuls facteurs. On pourrait par exemple se demander si le contenu des programmes scolaires finlandais n’influence pas le résultat de l’enquête ; si le niveau de formation élevé des professeurs (à condition de connaître le contenu de cette formation) à bac + 5, cité par le rapport, ne l’influence pas également (en France, il suffit d’obtenir la licence pour passer le concours de professeur des écoles ou le CAPES, mais la plupart de ceux qui passent le CAPES avaient jusque là une maîtrise, soit bac + 4 avec l’ancien système universitaire) ; si le nombre d’habitants, plus petit en Finlande qu’en France, ou encore le facteur religieux (il y a une population très homogène de 83 % de luthériens, 13 % se déclarant sans religion) ne jouent pas aussi leur rôle ; si le fait que le pays est officiellement bilingue (suédois/finnois) n’a pas une influence ; si la Finlande ne possède pas une population plus homogène que les autres pays : il y a effectivement 5.6 millions d’habitants seulement, et une immigration récente (depuis 1990) de Russes, Estoniens, Suédois, au nombre de 100 000 environ, soit 1.8% , facteur qui serait déterminant s’il était prouvé qu’un faible taux d’immigration favorise les performances scolaires globales d’un pays ; si l’encadrement des élèves primo-arrivants, leur assurant des cours intensifs de finnois et une intégration partielle dans les classes avec l’accompagnement d’un assistant bilingue pour 5 élèves, ne joue pas un rôle positif ; si la faible taille des établissements scolaires (pas de collège de plus de 400 élèves, pas de lycée de plus de 500 élèves) n’influence pas la réussite ; si le droit de vote accordé aux femmes depuis 1906 (la Finlande est le premier pays d’Europe à avoir accordé le droit de vote aux femmes) n’a pas eu une influence sur l’éducation des mères et donc des enfants (en France, une corrélation existe entre le niveau scolaire de la mère et la réussite scolaire des enfants) ; ou plus fantaisiste encore, si le climat n’interviendrait pas sur les résultats observés (une certaine théorie n’explique-t-elle pas les différences entre nations par les différences de milieux, et donc de climats ?)…


Bref, on peut constater que les pays comparés (ici France et Finlande) diffèrent par bien d’autres paramètres que les trois cités par l’OCDE. Rien ne prouve donc, sur la base des données indiquées dans le rapport, que le système scolaire français doive s’aligner sur les trois caractéristiques citées : " autonomie des établissements ", " hétérogénéité des classes ", " absence d’orientation trop précoce ", et rien ne prouve d’ailleurs le contraire non plus ! Par contre, il y a une forte présomption que la distorsion que l’on fait subir au raisonnement ait pour but de préparer la population aux réformes que le gouvernement concocte, à savoir l’autonomie des établissements, l’hétérogénéité des classes et l’absence d’orientation. Et s’il ne s’agit pas d’améliorer l’école, alors dans quel but ces transformations ?...


Florence Costa-Chopineau

Sources :
- Programme UMP sur l’éducation ;
- Site internet de l’université de Laval (Québec) pour les données sur la Finlande ;
- Pour le raisonnement statistique, un livre grand public  : Le jeu de la science et du hasard de D. Schwartz (Champs Flammarion).

A lire aussi sur ce site Une petite synthèse sur le modèle finlandais.

07/2007