La fiabilité des sondages a été remise en question régulièrement au cours des dernières années, que ce soit à l’occasion de récentes campagnes référendaires — Brexit, indépendance de l’Écosse — ou de la campagne présidentielle américaine de 2016. C’est dans ce contexte que des différences apparues au cours de l’automne 2016 dans les sondages faits par les deux principaux sondeurs québécois, Léger et CROP, ont soulevé des interrogations. Chez CROP, l’appui au Parti libéral du Québec (PLQ) paraissait stable à 37 ou 38 % de septembre à décembre, alors que chez Léger, il était passé de 34 % en septembre à 31 % en novembre, puis à 30 % en décembre. En décembre, l’écart entre les résultats publiés par les firmes était donc de huit points de pourcentage, une différence importante. Des différences similaires, mais inverses, touchaient les appuis au Parti québécois (PQ). Par contre, les firmes donnaient des résultats comparables pour ce qui est des appuis à la Coalition avenir Québec (CAQ) — de 23 à 26 % — et à Québec solidaire (QS) — de 9 à 10 %.
Nous examinons ici les estimations des deux firmes de sondage depuis la dernière élection québécoise afin de vérifier si elles diffèrent de façon significative et régulière. Nous vérifions également si les firmes se distinguent sur le plan de la variabilité d’un sondage mensuel au suivant.
Les appuis aux partis politiques chez Léger et CROP
Entre la dernière élection provinciale, en avril 2014, et janvier 2017, Léger a publié 21 sondages, et CROP, 30. La figure 1 présente une série de graphiques qui illustre l’évolution de l’appui aux principaux partis dans cette période, telle qu’estimée par chaque sondeur. Nous présentons les résultats après répartition proportionnelle des discrets (indécis, refus, ne vote pas). Les lignes des graphiques représentent l’évolution des appuis telle qu’estimée par des régressions locales, les points, les estimations de chaque sondage.
Les graphiques montrent que les estimations des deux firmes sont très similaires pour la majeure partie de la période. En mai 2014, les deux firmes situent les appuis au PLQ autour de 40 %, puis à la baisse jusqu’au début de 2015. Ils sont ensuite stables jusqu’en février 2016. Ce n’est qu’après que les firmes se différencient : Léger note une diminution des appuis au PLQ, tandis que CROP les présente comme stables.
Les firmes dressent un portrait tout aussi similaire des appuis au PQ jusqu’à l’été 2015. Par la suite, on constate un écart : les appuis baissent d’environ cinq points de pourcentage chez CROP, mais demeurent stables chez Léger.
Du côté de la CAQ, le tableau tracé par les firmes est identique pour toute la période : une baisse jusqu’à l’été 2015 suivie d’une remontée. Enfin, du côté de QS, l’estimation des appuis reste très stable chez Léger — 15 estimations sont de 10 %, 4 de 9 % et 2 de 11 % —, alors que CROP estime plutôt une augmentation suivie d’une diminution des appuis. Les estimations publiées par les deux firmes en janvier 2017 sont similaires.
Les différences observées sont-elles statistiquement significatives ? Une manière d’examiner cette question est de comparer les sondages effectués durant les mêmes mois par les deux firmes, soit 20 sondages au total. Comme nous comparons des proportions d’appuis provenant d’échantillons différents, le calcul de l’intervalle de confiance se fait selon une formule spécifique. (Nous employons ici les termes « intervalle de confiance » et « marge d’erreur », bien que, théoriquement, ces notions ne s’appliquent pas aux échantillons non probabilistes utilisés dans les sondages Web faits par les deux firmes.)
Dans la série de graphiques présentée à la figure 2, les points bleus indiquent la différence entre l’estimation de Léger et celle de CROP. Les points au-dessus de zéro (la ligne noire au centre) révèlent que l’estimation des appuis est plus élevée chez Léger, et les points au-dessous de zéro, l’inverse. Les lignes rouges verticales représentent l’intervalle de confiance. Lorsque la ligne rouge croise la ligne de zéro, la différence entre les firmes n’est pas significative.
Les graphiques confirment les résultats présentés plus tôt : les estimations des appuis aux partis sont généralement similaires. Pour le PLQ, seules les deux comparaisons de novembre et décembre 2016 sont significatives : l’estimation de CROP est plus élevée que celle de Léger. Pour l’appui au PQ, quatre comparaisons sont significatives et, dans tous les cas, l’estimation est plus élevée pour Léger ; trois de ces cas se produisent dans la deuxième moitié de 2016. Pour ce qui est de la CAQ, seulement deux résultats sont significatifs, celui de novembre 2015, où Léger donne une estimation plus élevée que CROP, et celui de mai 2016, où l’inverse se produit. Enfin, pour ce qui est de QS, CROP donne une estimation supérieure dans trois sondages répartis sur les trois années.
Nos résultats indiquent donc des différences un peu plus nombreuses qu’attendues. En effet, même s’il n’y avait aucune différence entre les firmes pour toute la période, le processus d’échantillonnage devrait tout de même produire une différence significative une fois sur 20. Les différences observées demeurent tout de même mineures et principalement concentrées dans la deuxième moitié de 2016. L’analyse permet de conclure surtout à des différences conjoncturelles entre les firmes, mis à part pour QS, à qui CROP donne en moyenne 1,9 point de plus que Léger.
La variabilité dans les appuis aux partis chez Léger et CROP
Les firmes pourraient toutefois diverger sur un autre plan, celui de la variabilité. Des estimations très variables d’un sondage à l’autre peuvent amener à conclure à des changements dans les appuis aux divers partis là où il n’y en a pas vraiment. À l’opposé, une variabilité très faible peut laisser penser qu’il y a une forte stabilité dans les appuis, alors que, même dans cette situation, les sondages devraient normalement montrer des variations.
La série de graphiques de la figure 3 permet d’examiner cette question. Chaque point bleu indique la différence dans les appuis à un parti entre un sondage et celui effectué le mois précédent. (Pour être certain de comparer les comparables, le graphique présente les différences seulement si les sondages ont eu lieu au cours de deux mois consécutifs.) Les lignes rouges représentent l’intervalle de confiance. Léger a publié 12 fois des sondages mensuels consécutifs, et CROP, 27 fois.
Il y a certaines différences de variabilité entre les firmes. Pour le PLQ, le sondage de Léger de mai 2015, soit un sur les douze, montre une différence significative avec celui d’avril, et il s’agit du sondage effectué au lendemain de l’élection de Pierre Karl Péladeau à la direction du PQ le 15 mai. Chez CROP, six sondages montrent un changement significatif entre deux mois consécutifs, tous en 2014 et 2015, dont celui de mai 2015. Les mouvements d’un sondage à l’autre pour les mois correspondants sont similaires chez les deux firmes. Pour le PQ, un sondage de Léger et quatre de CROP montrent une fluctuation significative. Encore là, les firmes présentent toutes deux une différence significative pour mai 2015 comparé à avril.
Pour ce qui est de la CAQ, on note une seule différence significative chez Léger contre six chez CROP. Quant à la variabilité des appuis à QS, quatre sondages CROP montrent des différences significatives ; chez Léger, les résultats ne présentent pratiquement aucune fluctuation à partir du printemps 2015, alors que, si les appuis étaient stables à 10 %, les estimations devraient varier entre 8 et 12 %. On note également une forte stabilité des estimations de l’appui au PQ chez Léger depuis février 2016, soit trois estimations de 29 % et cinq de 30 %. En résumé, les sondages CROP et Léger se différencient sur le plan de la variabilité.
Les analyses présentées montrent que, depuis l’élection québécoise de 2014, les estimations moyennes des appuis au PLQ, au PQ et à la CAQ sont similaires chez Léger et CROP. Des différences apparaissent sur deux plans. Premièrement, les firmes se distinguent dans leur estimation des appuis au PLQ et au PQ en novembre et en décembre 2016. Ces différences n’étaient pas apparues avant et ne se reproduisent pas en janvier 2017. De plus, les estimations des appuis à QS sont légèrement plus élevées chez CROP que chez Léger. Deuxièmement, les estimations sont généralement plus stables d’un sondage à l’autre chez Léger et plus variables chez CROP.
Le fait que les estimations des appuis aux partis soient généralement similaires selon les deux firmes est somme toute encourageant et remet en question l’idée reçue voulant que les sondages Léger avantagent systématiquement le PQ, et les sondages CROP, le PLQ, du moins, pour la période couverte par notre analyse. En outre, les interprétations médiatisées relatives à des hausses ou à des baisses des appuis d’un mois à l’autre sont souvent exagérées, puisqu’elles ne s’en tiennent pas aux différences statistiquement significatives.
Les différences quant à la variabilité des estimations des firmes pourraient devenir préoccupantes à l’approche d’élections. À ce moment, et particulièrement pendant la campagne électorale, les électeurs se questionnent plus sérieusement sur leur comportement futur. Trop de variabilité peut laisser penser qu’il y a une tendance vers l’appui à un parti au détriment d’un autre, alors que ce n’est pas nécessairement le cas. Trop peu de variabilité peut empêcher de détecter des mouvements réels. Dans les deux cas, les électeurs peuvent être induits en erreur.
Les différences entre les firmes relèvent-elles du hasard ou d’une question de méthodologie ? Étant donné leur importance dans le débat politique québécois, les firmes Léger et CROP ont une certaine responsabilité face au public. Nous croyons qu’elles devraient se pencher sur les raisons ou les pratiques qui peuvent peut-être expliquer une trop faible ou une trop grande variabilité de leurs estimations. Comme les deux firmes de sondage semblent utiliser des pondérations similaires, les causes de cette variabilité dépendent probablement d’autres facteurs, par exemple le mode et les lieux de recrutement des membres du panel ou les règles de sélection des échantillons pour chaque sondage, des éléments qui peuvent avoir un impact sur la diversité et la variabilité des échantillons finaux.
Photo: Shutterstock.com
Souhaitez-vous réagir à cet article ? Joignez-vous aux débats d’Options politiques et soumettez-nous votre texte en suivant ces directives. | Do you have something to say about the article you just read? Be part of the Policy Options discussion, and send in your own submission. Here is a link on how to do it.
