Sondages et enquêtes : peut-on parler de l’opinion « des Belges » en interrogeant seulement 1000 personnes ?

Cette interrogation revient souvent lorsqu’il s’agit d’interpréter les résultats des sondages et autres enquêtes d’opinion. Idéalement, il faudrait effectivement interroger tous les Belges pour avoir une idée précise de leur ressenti ou de leur avis au sujet de telle ou telle question. Mais cette démarche se heurte à des difficultés évidentes. Cela demande du temps et… beaucoup d’argent. C’est pourquoi on procède généralement à des sondages sur des échantillons de répondants que l’on estime représentatifs de la population.

Sur-échantillonnage et pondération

Ces échantillons sont composés de manière à représenter la diversité de la population étudiée. Dans le cas de l’étude " Noir, jaune, blues " l’échantillon était composé de 1059 personnes âgées de plus de 18 ans vivant en Belgique. Ces répondants ont été sélectionnés pour respecter les quotas représentatifs de la population en termes de genre, de niveau d’études, de langue, de nationalité, du type d’urbanisation et de Région. Ils ont été contactés par courriel.

"Pour améliorer la compréhension par catégorie, on procède à des sur-échantillonnages et à des pondérations, explique Dominique Trembloy. Sur les 1059 Belges, on compte ainsi environ 100 Bruxellois, 600 Flamands et 400 Wallons. Ce qui est trop peu pour pouvoir raisonner sur l’opinion des Bruxellois. On interroge donc trois fois plus de Bruxellois. C’est le sur-échantillonnage. Avant de traiter les résultats, on pondère la base de données pour rendre aux Bruxellois leur poids réel dans la population belge. On divise ainsi leur poids par 3. C’est la pondération."

Les auteurs de l’étude "Noir, jaune, blues" précisent que la marge d’erreur maximale pour un pourcentage de 50% et un taux de confiance de 95% est de ± 2,7% pour l’échantillon total. Autrement dit, il y a 95% de chances que la moyenne des réponses que l’on recueillerait en interrogeant toute la population soit comprise entre +2,7% et -2,7% de celle mesurée dans l’échantillon, poursuit Dominique Trembloy. On peut augmenter l’intervalle de confiance et/ou diminuer la marge d’erreur mais cela a un coût énorme. Si vous voulez obtenir 99% de certitude avec une marge d’erreur de + /-1%, vous devez interroger un échantillon de 10.000 personnes. Ce qui coûte dix fois plus cher pour un gain de pertinence scientifique assez faible."

C’est difficile à imaginer car c’est contre-intuitif

Un échantillon de 1000 ou de 10.000 personnes sur une population de 11 millions, ça reste négligeable. Pourtant, les instituts de sondages en France et aux Etats-Unis réalisent des études sur des échantillons de taille identique, alors qu’ils ont une population bien plus grande que la Belgique. "C’est difficile à imaginer car c’est contre-intuitif, reconnaît Dominique Trembloy. Mais c’est une réalité mathématique, la fiabilité d’une enquête d’opinion ou d’un sondage ne dépend que de la taille de l’échantillon, pas de son rapport à la taille de la population."

Pour comprendre cette réalité, il faut faire un petit détour par les probabilités et la statistique. Explication. Si vous jouez à pile ou face, la probabilité de tomber sur " pile " est d’une chance sur deux. Plus vous lancez la pièce en l’air, plus la moyenne des résultats se rapprochera d’une proportion de 50/50. Rien n’exclut, même si vous lancez la pièce 10.000 fois, que vous obteniez à chaque fois "face" ou à chaque fois "pile". Mais la probabilité d’obtenir ce résultat sur dix mille lancers est très proche de zéro.

"Des lois mathématiques permettent de définir très exactement la probabilité d’obtenir un résultat situé dans un intervalle compris entre 45% et 55% de "pile" selon le nombre de lancés, précise Dominique Trembloy. (Nous joignons ici un exemple de site internet permettent de calculer la marge d’erreur d’un sondage, ndlr) Les mêmes lois mathématiques s’appliquent si on tire au hasard des boules blanches ou noires dans un sac qui contient pour moitié de boules blanches et moitié de boules noires. La probabilité que le résultat soit compris dans tel ou tel intervalle autour de la moyenne réelle dépend uniquement du nombre de lancer de la pièce ou du nombre de boules prises au hasard dans le sac."

Dans ces deux cas, on connaît a priori la probabilité de "pile" ou "face" ou la composition de boules blanches et noires dans le sac. Mais ces lois s’appliquent également si l’on tire au hasard des individus dans une population en cherchant à savoir quelle proportion de femmes et d’hommes compose exactement la population totale. " C’est ce qu’on fait avec un échantillonnage, explique Dominique Trembloy. On essaie de deviner la proportion de femmes et d’hommes dans la population sans les connaître a priori. Encore une fois cela ne dépend que de la taille de l’échantillon, pas de son rapport à la taille de la population. Si vous prenez un échantillon de 1000 ou de 10.000 personnes sur une population qui en contient des dizaines de millions, c’est comme si vous tiriez au hasard dans une population de taille infinie. Et les variations de résultats entre les deux échantillons sont insignifiantes."

C’est pourquoi l’on estime qu’une enquête d’opinion sur échantillon de 1000 personnes, après un exercice de sur-échantillonnage suivi d’une pondération, comme dans le cas de l’étude "Noir, Jaune, Blues" a 95% de chances de correspondre à l’avis de toute la population belge, avec une marge d’erreur +2,7% et -2,7%.

►►► Cet article n’est pas un article d’info comme les autres… Sur INSIDE, les journalistes de l’info quotidienne prennent la plume - et un peu de recul - pour dévoiler les coulisses du métier, répondre à vos questions et réfléchir, avec vous, à leurs pratiques. Plus d’information : là. Et pour vos questions sur notre traitement de l’info : c’est ici.