Comprendre pour ne plus se faire manipuler
Chaque semaine, un institut de sondage interroge quelques centaines ou plus rarement un millier de personnes, et le lendemain, la presse annonce qu’un candidat « progresse », qu’un autre « recule », qu’un troisième « repasse devant ». Deux points d’écart suffisent à faire un titre. Pourtant, personne ne se demande jamais si ces deux points d’écart veulent vraiment dire quelque chose. C’est que je vous propose de faire ici.
Ils ne veulent, presque toujours, rien dire du tout. Voici comment le vérifier soi-même, une fois pour toutes.
La mauvaise question : la marge d’erreur
On vous répète, à chaque sondage, qu’il existe une marge d’erreur d’environ trois points. Ce chiffre est réel, mais il répond à une question précise : celle d’un sondage tiré au sort de manière aléatoire dans toute la population, sur un échantillon de mille personnes. Or aucun institut politique français ne procède ainsi. Tous utilisent la méthode des quotas : ils interrogent des personnes disponibles jusqu’à remplir des cases d’âge, de sexe et de catégorie socioprofessionnelle censées reproduire la population, puis appliquent des coefficients de redressement dont la méthode précise reste protégée par le secret industriel. La marge de trois points n’a jamais été calculée pour cette méthode-là. Elle est citée par convention, pas par preuve.
La bonne question : l’écart significatif
Même en laissant de côté ce problème, la marge d’erreur n’est de toute façon pas le bon outil pour comparer deux candidats entre eux. La question utile n’est pas « suis-je dans la marge d’erreur ? ». C’est : « à partir de quel écart puis-je affirmer qu’il existe une vraie différence, et non du bruit de mesure ? » C’est exactement le calcul qu’on applique pour comparer le rendement de deux variétés dans un essai agricole : ce n’est jamais la marge d’erreur de chaque mesure isolée qui compte, c’est l’écart entre les deux qui doit dépasser un seuil précis, calculable, avant qu’on ait le droit de dire que la différence est réelle.
Pour deux candidats testés dans le même sondage, ce seuil se calcule. Il dépend du niveau auquel se situent les candidats — plus leurs scores sont élevés, plus l’écart nécessaire pour parler de différence réelle est grand lui aussi. Voici ce seuil, pour un sondage de mille personnes, dans l’hypothèse la plus favorable qui soit : celle d’un tirage aléatoire parfait, ce qu’aucun institut politique ne pratique en réalité.
| Niveau des deux candidats | Écart minimum pour justifier d’une vraie différence |
|---|---|
| Autour de 10 % | environ 2,8 points |
| Autour de 15 % | environ 3,4 points |
| Autour de 20 % | environ 3,9 points |
| Autour de 25 % | environ 4,4 points |
| Autour de 30 % | environ 4,8 points |
| Autour de 35 % | environ 5,2 points |
| Autour de 50 % | environ 6,2 points |
Un écart de un ou deux points entre deux candidats crédités chacun de 14 ou 15 % — le genre d’écart qui fait les titres chaque semaine — ne dépasse jamais ce plancher. Ce n’est pas une différence incertaine. C’est une absence de différence mesurable, même dans le scénario le plus favorable à l’institut qui la publie.
Et la réalité est pire que ce tableau
Ce tableau donne un plancher, pas la vérité complète. Il suppose un tirage aléatoire que la méthode des quotas ne pratique pas. L’incertitude réelle d’un sondage par quotas est nécessairement plus large que ces chiffres — mais de combien, personne ne le sait, parce qu’aucun institut ne publie la variance de ses coefficients de redressement. C’est le vrai scandale méthodologique : nous ne disposons même pas du droit de connaître le plancher réel, seulement d’un plancher minimal, optimiste, qu’on peut au moins vérifier soi-même, et qui suffit déjà, à lui seul, à disqualifier l’essentiel des titres sur les « évolutions » sondagières.
Comment s’en servir
La prochaine fois qu’un sondage vous annonce qu’un candidat « devance » un autre, ou qu’il « progresse » par rapport au mois précédent, une seule question suffit : la différence entre les candidats dépasse-t-elle le seuil du tableau, pour le niveau où se situent les candidats ? S’il ne le dépasse pas, il n’y a rien à commenter, quel que soit le sérieux du ton employé pour l’annoncer. S’il le dépasse, la différence peut être réelle — mais seulement dans l’hypothèse optimiste d’un tirage aléatoire que la méthode présentée ne permet pas de garantir.
Ce n’est pas une question de suspicion généralisée envers les instituts de sondage. C’est une question de rigueur, la même que celle qu’on applique à n’importe quelle mesure scientifique avant de la publier comme un fait. Tant que cette rigueur ne sera pas exigée des sondages politiques, ils continueront de fabriquer, chaque semaine, des mouvements qui n’existent que sur le papier.
Comprendre pour agir. Reprendre la main pour tenir les promesses et ouvrir l’avenir.
