(Cet article a été traduit de l’anglais.)

Les Canadiens s’intéressent, à juste titre, à la mesure dans laquelle les programmes gouvernementaux atteignent leurs objectifs. En effet, l’approche du gouvernement fédéral pour obtenir des résultats est axée sur la recherche de « résultats » finaux et sur la question de savoir si les programmes et les politiques améliorent la vie des Canadiens. Toutefois, du lancement d’un programme jusqu’à l’analyse de ses résultats, le gouvernement a besoin d’outils d’évaluation solides. Il s’agit, par exemple, de recueillir des données tout au long de la durée du programme, avec un accent particulier sur les premiers éléments qui indiquent si le programme produit ― ou non ― les résultats escomptés.

Pourquoi ces premières étapes sont-elles si importantes ? C’est qu’une analyse axée sur les résultats à long terme risquerait d’occulter l’étape critique de la compréhension des progrès réalisés à court terme, sur lesquels reposent les résultats finaux. Or, en surveillant les premiers résultats, on peut détecter les problèmes plus rapidement et modifier les programmes au moment le plus approprié.

Dans la fonction publique fédérale, l’accent mis actuellement sur les retombées à long terme des programmes est peut-être une réaction à ce qu’on a considéré dans le passé comme une dépendance excessive à l’égard des activités des programmes plutôt qu’à l’égard de leur efficacité. Cette dépendance excessive découlait à son tour d’un manque de données pertinentes et de grande qualité, pourtant essentielles à l’analyse des retombées d’un programme.

Un programme gouvernemental peut mettre 20 ans à atteindre la pleine maturité. Si les gestionnaires des politiques, des programmes et de la prestation de services se concentrent dès le départ sur les résultats à long terme, ils perdront de vue certains éléments précieux concernant l’efficacité du programme et la nécessité éventuelle d’interventions. Nous ne devrions donc pas ignorer ce qui se passe au début de la mise en œuvre ou lors des premières étapes du cycle d’un programme.

Les composantes de base de la réussite d’un programme

Les étapes initiales et intermédiaires d’un programme reposent sur trois composantes de base : la connaissance, la compréhension et l’action. La population cible du programme doit connaître le programme et le comprendre avant de pouvoir agir pour en profiter. Par exemple, un programme auquel les hommes adhèrent habituellement, comme le soutien aux métiers et à l’apprentissage, peut aussi aider les femmes, mais des obstacles pourraient empêcher ces dernières de connaître et de comprendre le programme. En fin de compte, ce manque de connaissance et de compréhension empêcherait ces femmes d’entreprendre une action pour participer au programme.

La connaissance d’un programme est influencée par le contexte, le fait d’être exposé ou non à l’information, la capacité de l’absorber ainsi que les croyances et les attitudes, qui varient d’un participant à l’autre.

L’analyse de la façon dont un programme est connu et compris par divers groupes démographiques comme les hommes, les femmes, les personnes handicapées, etc.  ― appelée « analyse comparative entre les sexes plus » (ACS+) au sein du gouvernement ― peut révéler beaucoup de choses sur la portée du programme et, par conséquent, sur les aspects à améliorer. Autrement dit, elle met au jour ce qui fonctionne, pour qui et dans quelles conditions.

La compréhension est influencée par des facteurs comme le niveau d’études des participants potentiels et le type d’outil de communication employé pour essayer de les joindre ― par exemple, ont-ils accès à Internet ? Ces différences au sein de la population doivent être surveillées, de manière à pouvoir ajuster le programme en conséquence.

L’action, troisième composante de base, peut consister à faire une demande de prestation gouvernementale ou à contribuer à un régime d’épargne-retraite ou d’épargne-études. La décision d’agir d’une personne peut être influencée par des facteurs comme la motivation, et peut être mesurée en examinant les taux de participation et en déterminant si la personne collabore de façon continue. L’action entreprise par une personne ou un groupe dès le début constitue une étape clé pour obtenir des résultats positifs à long terme, comme l’amélioration de la sécurité financière ou du bien-être.

Risques liés à la concentration sur l’action uniquement

Lorsque les composantes de base « connaissance » et « compréhension » ne sont pas suffisamment prises en compte au cours des premières étapes de la conception et de la mise en œuvre d’un programme, les résultats finaux peuvent différer des attentes.

L’ancien programme Child Trust Fund du Royaume-Uni avait été conçu pour offrir une prestation universelle aux enfants en vue d’utilisations futures comme les études postsecondaires. Le gouvernement britannique inscrivait automatiquement les enfants au programme un an après leur naissance, si les parents ne l’avaient pas déjà fait. L’initiative que prenait le gouvernement de créer ces comptes à la place des parents était perçue comme un moyen d’encourager l’épargne dès le début et, éventuellement, de financer les études postsecondaires.

Toutefois, les données de l’évaluation ont montré que plus des trois quarts (78 %) des parents ont ouvert des comptes pour leurs enfants, mais que seulement 37 % d’entre eux ont fait une contribution après le dépôt de la première prestation gouvernementale. Dans les cas où les comptes étaient ouverts automatiquement par le gouvernement, seulement 9 % des parents avaient fait des contributions subséquentes. L’action d’ouvrir un compte était automatisée ; toutefois, il se peut que les éléments connexes que sont la connaissance et la compréhension des comptes n’aient pas été suffisamment analysés dans la conception et la mise en œuvre du programme pour obtenir le résultat escompté, à savoir des économies accrues.

L’évaluation d’un programme semblable, le Programme canadien pour l’épargne-études (PCEE), a montré comment les composantes de base « connaissance » et « compréhension » sont prises en compte dans l’évaluation des résultats du programme. Le PCEE est un programme par lequel le gouvernement verse une contribution à un régime enregistré d’épargne-études (REEE) pour soutenir les études postsecondaires des enfants. Une évaluation du PCEE a montré que les aspirations des parents en ce qui concerne les études postsecondaires et leurs habitudes d’épargne préexistantes contribuent à expliquer pourquoi le programme a atteint certains participants potentiels et pas d’autres.

Les données de l’évaluation révèlent que les facteurs culturels et comportementaux jouent également un rôle. Par exemple, les niveaux de contribution au PCEE varient considérablement selon la province de résidence. En outre, les données de l’Enquête sur l’accès et le soutien à l’éducation et à la formation (EASEF) montrent que les niveaux plus élevés de cotisations à un REEE en Colombie-Britannique sont probablement attribuables au fait que la population de cette province compte une plus forte proportion d’immigrants chinois et indiens de l’Est comparativement aux autres provinces. Selon les données, ces deux groupes ont tendance à verser des cotisations beaucoup plus élevées que les familles dont les deux parents sont nés au Canada, même lorsqu’on tient compte d’autres facteurs comme le revenu familial.

Recueillir les bonnes données au bon moment

Des évaluations aussi nuancées des retombées du REEE ont été possibles parce que des données pertinentes et d’une grande qualité existaient. Par le passé, la gestion du programme, pour des raisons opérationnelles, était axée sur les renseignements recueillis sur les éléments administratifs, comme le nombre de demandes reçues ou le délai pour effectuer un paiement. De la même manière, les données reçues des fournisseurs tiers étaient souvent axées sur les activités des programmes qu’ils offraient. Ce type de données est important, mais n’attire pas l’attention sur l’aspect plus général du programme.

Il est clair que l’évaluation des résultats à court terme dans le but de mesurer l’efficacité des programmes suppose que les données soient recueillies de façon proactive. Les discussions se poursuivent sur l’amélioration de la qualité des données et la nécessité de passer de la propriété à l’intendance des données au sein du gouvernement fédéral. Élaborée par le Secrétariat du Conseil du Trésor du Canada (SCTC), l’InfoBase du gouvernement offre une foule de renseignements sur les programmes de nombreux ministères et organismes fédéraux, et comprend maintenant des données sur les résultats de divers programmes étalées sur trois ans.

Des projets pilotes ont mis à l’essai des ententes de rémunération au rendement. Dans le cadre de ces accords, les organisations qui ont exécuté des programmes étaient payées en fonction des mouvements des participants selon des étapes ou des jalons particuliers. De telles approches, qui peuvent être considérées comme des types d’expérience, mettent l’accent sur des indicateurs clés précoces et veillent à ce que des données pertinentes soient recueillies à des fins d’analyse.

Afin d’assurer le succès d’un programme et d’obtenir des résultats positifs à long terme pour les Canadiens, les composantes de base importantes que sont « connaissance » et « compréhension » méritent qu’on s’y attarde. Il faut élargir la portée de l’analyse des programmes et améliorer la collecte des données afin de tenir adéquatement compte de ces éléments et de voir les nuances et les changements progressifs qui se produisent au cours des premières étapes. Les ajustements nécessaires pourront alors être effectués pour améliorer la gestion et l’exécution des programmes et, en fin de compte, le bien-être des citoyens.

Les opinions exprimées dans le présent article sont celles de l’auteure et ne reflètent pas nécessairement celles du SCTC ou du gouvernement du Canada.

Photo : Shutterstock / Enkel


Souhaitez-vous réagir à cet article ? Joignez-vous aux débats d’Options politiques et soumettez-nous votre texte en suivant ces directives. | Do you have something to say about the article you just read? Be part of the Policy Options discussion, and send in your own submission. Here is a link on how to do it. 

Christine Minas
Christine Minas est directrice de la Division des résultats au Secrétariat du Conseil du Trésor du Canada et une championne de la collectivité de l'évaluation fédérale.

Vous pouvez reproduire cet article d’Options politiques en ligne ou dans un périodique imprimé, sous licence Creative Commons Attribution.

Creative Commons License