Contrairement à l’impression générale, les sondages québécois ne se sont pas distingués significativement des sondages canadiens lors de la dernière campagne électorale.

Les campagnes électorales constituent pour les sondeurs un moment clé. Tous les regards sont tournés vers eux, puisqu’il s’agit d’une occasion presque unique pour savoir si les sondages donnent une image juste de la situation. C’est à partir de cette image que certains décideront, ou non, de faire confiance aux sondages en général et à certains sondeurs plutôt qu’à d’autres. Plusieurs facteurs influencent la qualité de la prédiction des sondages : la qualité de la méthodologie, la collaboration des personnes sollicitées, la stabilité des intentions de vote mais également… le hasard. La situation est donc à haut risque puisque l’on peut, malgré une bonne méthodologie, obtenir des estimations qui s’éloignent sensiblement du vote final, dû au hasard de l’échantillonnage ou aux mouvements de l’opinion et que, à l’inverse, on pourrait obtenir de très bonnes estimations, même si la méthodologie utilisée n’est pas très rigoureuse. Toutefois, lorsque les estimations s’écartent de façon récurrente du vote réel, on parle de biais systématique, et il faut chercher les raisons de cette situation dans des pratiques méthodologiques stables.

Dans les deux cas, les observateurs ont eu l’impression qu’il y avait des biais systématiques.

Dans cet article, deux cas de figure sont examinés : d’une part, la différence entre les estimations des sondeurs québécois (CROP, Léger et UniMarketing) et des sondeurs du Canada anglais pour ce qui est des intentions de vote au Québec, et d’autre part, la fiabilité des sondages faits dans les circonscriptions au Québec durant la campagne par trois sondeurs, soit CROP, UniMarketing et GPS. Pourquoi ces deux cas de figure ? Dans les deux cas, les observateurs ont eu l’impression qu’il y avait des biais systématiques, soit que les sondages menés par des firmes du Canada anglais ne donnaient pas la même lecture de la situation québécoise que les sondages faits au Québec et que les sondages dans les circonscriptions au Québec étaient généralement biaisés en faveur du Bloc québécois. Cet article s’attache à vérifier si ces allégations sont fondées. Les analyses se concentrent sur l’estimation des intentions de vote pour le Bloc québécois, puisqu’il s’agit de l’estimation qui apparaît être le plus souvent mise en cause.

Au cours des dernières campagnes électorales fédérales, plusieurs chercheurs avaient noté que les sondeurs du Canada anglais tendaient à surestimer l’appui au Bloc québécois par rapport aux sondeurs québécois « établis », tels CROP et Léger Marketing. Les premiers sondages publiés durant la campagne électorale de 2008 semblaient suivre la même tendance. Il est donc pertinent de vérifier si cela a vraiment été le cas. Pour ce faire, nous avons défini quatre périodes pendant lesquelles tant les sondeurs québécois que les sondeurs du Canada anglais ont publié des sondages : une semaine avant le déclenchement des élections (29 août au 6 septembre), pendant dix jours suivant de peu le déclenchement (10 au 16 septembre), le milieu de la campagne (19 au 29 septembre) et la fin de la campagne (5 au 11 octobre).

Pendant ces périodes, trois sondeurs québécois, Léger, CROP et UniMarketing, ont publié des sondages. Les sondeurs québécois utilisent tous une méthode « traditionnelle », soit des sondages téléphoniques faits sur six à onze jours avec un seul échantillon, dont on essaie de joindre toutes les personnes. Les sondeurs du Canada anglais par contre font appel à plusieurs méthodologies différentes. Environics, Ipsos Reid et Strategic Counsel utilisent la méthode traditionnelle mais font leurs sondages sur moins de jours, soit de un à cinq jours. Nanos et Harris/Decima font des sondages roulant sur trois jours pour Nanos, sur quatre jours pour Harris/Decima, avec un nouvel échantillon chaque jour. Ekos utilise la « Interactive Voice Recognition », soit des sondages téléphoniques automatisés, habituellement sur trois jours, où les répondants entrent leurs réponses sur le clavier du téléphone. Enfin, Angus Reid utilise Internet. Les différences entre sondeurs québécois et canadiens pourraient donc résulter de méthodologies différentes ; elles expliquent toutefois pourquoi il y a moins de sondages québécois.

Durant la première période, avant le déclenchement des élections, alors que l’estimation des intentions de vote pour le Bloc faite par Léger est à 30 p. 100 et celle d’UniMarketing à 35 p. 100, Environics est à 34 p. 100. Durant la deuxième période, peu après le déclenchement des élections, tant Léger que UniMarketing estiment les intentions de vote pour le Bloc à 32- 33 p. 100 (à égalité statistique avec le Parti conservateur à ce moment-là). Pendant ce temps, Nanos accorde au Bloc 26 p. 100 (également à égalité avec les conservateurs), Harris/Decima, 34 p. 100 et Ekos, 33 p. 100, pour une moyenne de 31 p. 100. Pas de contradiction donc entre les sondeurs québécois et les sondeurs du Canada anglais, ni selon les méthodes utilisées durant cette période étant données les marges d’erreur importantes pour les souséchantillons québécois des sondages canadiens.

Durant la troisième période, couvrant onze jours à la fin septembre, deux firmes québécoises, CROP et Léger, publient les résultats de sondages effectués sur neuf à onze jours et placent le Bloc respectivement à 31 p. 100 et 33 p. 100. Les quatre sondages de Nanos réalisés durant la même période mettent le Bloc d’abord à 30 p. 100, puis à 40 p. 100, à 37 p. 100 et à 39 p. 100, alors que les trois sondages de Harris/Decima placent le Bloc à 30 p. 100, puis à 38 p. 100 et à 37 p. 100. Le passage du Bloc de 30 p. 100 à 38-40 p. 100 en trois à quatre jours reflète les difficultés associées à la variabilité des sondages roulants, surtout lorsque les tailles sont très petites. Fin septembre, Ipsos Reid place le Bloc à 32 p. 100, Strategic Counsel, à 40 p. 100, Angus Reid à 39 p. 100 et Ekos, à 34 p. 100 puis 38 p. 100. Tous les indicateurs tendent à montrer une remontée du Bloc pendant cette période de sorte que la différence apparente entre les estimations des sondeurs canadiens (moyenne de 36,6 p. 100) et celle des deux sondeurs québécois est non significative une fois contrôlée la période pendant laquelle les sondages ont été effectués.

Enfin, le tableau 1 présente les dernières estimations faites par les sondeurs avant l’élection dans l’ordre où les sondages ont été faits. Léger et Strategic Counsel placent le Bloc à 37 p. 100 alors que Ipsos Reid le place à 38 p. 100 et Angus Reid à 39 p. 100. Par contre, UniMarketing et Nanos placent le Bloc à 42 p. 100, Harris/Decima à 43 p. 100 et Ekos à 41 p. 100. Étant donné la taille des échantillons, seul Ekos a une estimation en dehors de l’intervalle de confiance pour le Bloc. La moyenne des sondeurs canadiens est de 40 p. 100, celle des sondeurs québécois, de 39,5 p. 100.

Par ailleurs, pour l’ensemble des sondages, les tests statistiques ne montrent aucune différence significative entre les firmes si l’on contrôle pour le moment où les sondages ont été effectués, à l’exception d’une tendance de la firme Nanos à surestimer les intentions de vote pour le Parti libéral.

En conclusion, l’impression générale voulant que les sondages canadiens placent toujours le Bloc plus haut que les sondages québécois est non vérifiée dans ces élections. Par ailleurs, pour l’ensemble des sondages, les tests statistiques ne montrent aucune différence significative entre les firmes si l’on contrôle pour le moment où les sondages ont été effectués, à l’exception d’une tendance de la firme Nanos à surestimer les intentions de vote pour le Parti libéral.

Comment expliquer que la situation constatée dans les élections précédentes ne semble plus vraie ? On peut faire l’hypothèse que les sondeurs canadiens, conscients que leurs estimations se distinguaient de celles de leurs collègues du Québec et des résultats des élections, ont révisé leurs méthodes pour éviter que la situation ne se reproduise.

Le groupe Gesca de même qu’une station de radio de la région du Saguenay et le mensuel gaspésien Graffici ont commandé en tout 29 sondages dans des circonscriptions pendant la campagne électorale. De ce nombre, 15 ont été faits par UniMarketing (dont quatre, deux fois dans la même circonscription), huit par CROP et six (deux fois dans trois circonscriptions) par la firme GPS.

Les 24 circonscriptions différentes où des sondages ont été faits ne sont pas toutes considérées comme « chaudes ». L’écart final entre le candidat arrivé premier et celui arrivé deuxième varie de 1,9 point de pourcentage à 30,2 points. Neuf circonscriptions seulement ont terminé avec un écart inférieur à 14 points entre le premier et le deuxième, soit l’écart que la plupart des sondages auraient dû être en mesure de détecter étant donnée leur marge d’erreur. Dans les analyses présentées, lorsque deux sondages ont été faits dans la même circonscription, nous n’avons retenu que le dernier soit celui qui était le plus près des élections.

Le fait que les estimations des sondages se situent à l’intérieur ou à l’extérieur de la marge d’erreur constitue une indication simple de l’adéquation entre les sondages et le vote. L’intervalle de confiance des estimations a donc été calculé en tenant compte de l’intention de vote estimée et de la taille des échantillons sur laquelle chaque estimation était basée (qui varie entre 274 et 450 en excluant les discrets).

La prédiction des intentions de vote pour le Bloc est à l’intérieur de la marge d’erreur dans 11 sondages, soit moins de la moitié. Ce sont sept des huit sondages CROP, un des trois sondages GPS et trois des treize sondages UniMarketing. De plus, dans deux circonscriptions, les sondages UniMarketing ont sous-estimé les intentions de vote pour le Bloc, ce qui est considéré comme une estimation acceptable étant donné que celles-ci ont pu progresser après que ces sondages ont été réalisés, fin septembre.

Les 11 autres sondages ont nettement surévalué le Bloc québécois. Il s’agit de huit des treize sondages UniMarketing, de deux des trois sondages GPS faits dans la région du Lac St-Jean et d’un des sept sondages CROP, fait dans St-Hyacinthe. Est-ce que le moment où ces sondages ont été faits peut expliquer les résultats ? Huit des onze sondages ont été faits durant l’avant-dernière fin de semaine de la campagne, au moment où la progression du Bloc avait déjà été réalisée et où les intentions de vote pour ce parti, dans l’ensemble du Québec, apparaissaient stables. Dans les circonscriptions où la prédiction ne se situe pas à l’intérieur de la marge d’erreur, les résultats ne sont pas plus serrés que dans les autres circonscriptions : l’écart entre le vote pour le candidat arrivé en tête et le deuxième est de près de 20 points en moyenne dans ces circonscriptions, alors qu’il n’est que de 12,8 points dans celles où les résultats ont été bien prédits.

On peut également se demander si les sondages ont prédit le bon vainqueur. Il s’agit d’un critère grossier mais souvent utilisé par les médias et le grand public. Seuls deux sondages ne remplissent pas ce critère, il s’agit de ceux menés par GPS dans la région du Saguenay-Lac-St-Jean qui ont prédit une victoire du Bloc québécois, alors que le Parti conservateur l’a emporté. Ce dernier a devancé le Bloc de 15 points dans Jonquière-Alma, où le ministre Jean-Pierre Blackburn est sorti victorieux avec 52,5 p. 100 des voix, et de 4,1 points dans Roberval–Lac-StJean, où le député Denis Lebel a gagné avec 43,5 p. 100 des voix dans une élection serrée. Dans ce dernier cas, toutefois, l’estimation des intentions de vote pour le Bloc se trouve à l’intérieur de la marge d’erreur.

Certains ont émis l’hypothèse que la participation électorale pourrait expliquer, en partie du moins, les écarts entre les sondages et le vote. Le taux de participation dans les circonscriptions où les sondages ont mal prédit le vote est de 64,0 p. 100, alors qu’il est de 61,2 p. 100 dans les autres, une différence qui apparaît faible. Par ailleurs, dans les circonscriptions sondées, il n’y a pas de relation significative entre le taux de participation d’une part et la répartition du vote ou son estimation dans les sondages, d’autre part. Une participation différenciée peut donc difficilement expliquer les résultats.

Qu’en conclure ? Pour ce qui est d’obtenir une bonne approximation de l’état des forces en présence, seul CROP a un bilan acceptable avec 87,5 p. 100 d’estimations à l’intérieur de la marge d’erreur, soit près de ce à quoi on s’attendrait au hasard. Pourquoi les sondages faits dans les circonscriptions ont-ils erré à ce point ? Il ne s’agit pas d’un problème relié à ce type de sondage, puisque CROP a très bien fait. Tant UniMarketing que GPS ont produit des rapports complets et détaillés des résultats de leurs sondages et ont rendu ces rapports disponibles sur leurs sites Web. Rien de ce que nous avons appris ne permet en ce moment d’affirmer que des pratiques méthodologiques spécifiques pourraient expliquer la tendance des sondages de ces firmes à surestimer le Bloc québécois de façon systématique. Toutefois, lorsqu’un tel problème survient, il y a habituellement des raisons. Les firmes ont la responsabilité de prendre les moyens pour découvrir ces raisons si elles veulent rétablir la confiance que l’on doit avoir dans leurs résultats.

D’une campagne électorale à l’autre et d’un sondage à l’autre, nous acquérons des impressions à partir de ce que nous savons ou pensons savoir. Par la suite, nous pouvons avoir tendance à ne pas remettre en cause ces impressions. Or, les choses changent. Les firmes de sondage adaptent leurs méthodes ou changent carrément de mode d’administration. De nouvelles firmes apparaissent. Les campagnes électorales elles-mêmes varient : les intentions de vote évoluent différemment d’une campagne à l’autre. Toutefois, à partir du moment où tant les électeurs que les candidats eux-mêmes font confiance aux résultats des sondages et agissent parfois en fonction de ces résultats, il est très important que ces résultats donnent une image fiable de la réalité. Dans cette élection, la perception d’une différence systématique entre les sondeurs « québécois » et « canadiens » s’est révélée fausse. Par ailleurs, la perception que les sondages faits dans les circonscriptions n’étaient pas valides est partiellement vraie mais liée aux sondeurs et non pas au type de sondages.