Abréviations
- AAC
- Agriculture et Agroalimentaire Canada
- ACS
- Analyse comparative entre les sexes
- GRE
- Gestion des risques de l'entreprise
- PAPB
- Programme d'assurance des prix du bétail
- PAPBO
- Programme d'assurance des prix du bétail dans l'Ouest
- PCA
- Partenariat canadien pour l'agriculture
- PCA durable
- Partenariat canadien pour une agriculture durable
- PIR
- Profil d'information sur le rendement
- R et D
- Recherche et développement
- RCA
- Renforcement des capacités administratives
Sommaire
But
Le Bureau de la vérification et de l'évaluation d'Agriculture et Agroalimentaire Canada (AAC) a effectué l'évaluation du Programme des initiatives Agri‑risques afin d'en examiner la pertinence, l'efficience et l'efficacité. Ce rapport a pour but de communiquer les résultats de cette évaluation.
Portée et méthodologie
Dans le cadre de l'évaluation, on a examiné les activités d'Agri-risques effectuées entre 2018-2019 et 2022-2023 à l'aide de sources données multiples, dont un examen des documents du programme, des dossiers de projets et d'autres ouvrages; des entrevues auprès des intervenants clés; des analyses des données administratives et financières; et une étude de cas.
Contexte
Agri-risques était un programme de financement sous forme de contribution non remboursable dotée d'un budget annuel moyen de 11 millions de dollars. Le programme visait à renforcer la capacité des producteurs à faire face aux risques en facilitant l'élaboration et l'adoption de nouveaux outils de gestion des risques. Le programme était divisé en trois volets : microsubventions, recherche et développement (R et D) et renforcement des capacités administratives (RCA). Bien qu'Agri-risques n'ait pas été renouvelé en tant que programme autonome dans le cadre du Partenariat canadien pour une agriculture durable, une évaluation était toujours requise par la Politique sur les résultats et par l'article 42.1 de la Loi sur la gestion des finances publiques.
Constatations
- Agri-risques a joué un rôle unique dans l'amélioration de la capacité des producteurs du système agroalimentaire canadien à faire face aux risques en facilitant l'élaboration et l'adoption de nouveaux outils de gestion des risques.
- Le programme a permis de mettre en œuvre des pratiques prometteuses pour améliorer l'efficacité et a partiellement atteint ses résultats immédiats et intermédiaires, mais le nombre de demandes a été faible et les normes de service n'étaient pas toujours respectées.
- La conception d'Agri-risques ne comprenait pas d'objectifs spécifiques pour faciliter ou soutenir la participation des groupes sous-représentés, bien qu'à l'époque, ce c'était pas une exigence pour les programmes relevant du Partenariat canadien pour l'agriculture (PCA). Cependant, aucun obstacle à la participation n'a été cerné pour un groupe quelconque.
- Le profil d'information sur le rendement du programme présente des points à améliorer.
Conclusions
Agri-risques répondait à un besoin du secteur agricole et finançait des projets conformes aux priorités d'AAC et du gouvernement fédéral. La souplesse du programme, qui comprend plusieurs volets, a permis au secteur agricole canadien d'investir dans l'élaboration et l'adoption de nouveaux outils de gestion des risques. Des processus étaient en place pour aider à administrer le programme de manière efficiente, au moins une norme de service n'a pas été respectée en 2018-2019, 2020-2021 et 2021-2022. Le programme a partiellement atteint ses résultats immédiats et intermédiaires, en partie en raison du faible nombre de demandes et donc de projets financés. Pour renforcer les programmes futurs d'AAC, on pourrait tenter de mieux comprendre dans quelle mesure les groupes sous-représentés et marginalisés accèdent aux projets soutenus par AAC et en bénéficient. Cela permettrait de s'assurer qu'il n'y a pas d'obstacles à la participation pour quelque groupe que ce soit. En outre, les mesures du rendement d'Agri-risques présentent des points à améliorer qui auraient permis de garantir l'accès à des données fiables et cohérentes sur les résultats en matière de rendement.
1.0 Introduction
Le Bureau de la vérification et de l'évaluation d'Agriculture et Agroalimentaire Canada (AAC) a entrepris une évaluation du Programme des initiatives Agri‑risques dans le cadre du Plan de vérification et d'évaluation intégré de 2023-2024 à 2027-2028. Agri-risques était un programme quinquennal du Partenariat canadien pour l'agriculture (PCA) qui avait pour objectif d'améliorer la capacité des producteurs à faire face aux risques en facilitant l'élaboration et l'adoption de nouveaux outils de gestion des risques. Il n'a pas été renouvelé en tant que programme autonome dans le cadre du PCA durable. Les résultats de cette évaluation sont destinés à éclairer les décisions actuelles et à venir en matière de programmes et de politiques.
2.0 Portée et méthodologie
L'évaluation a été menée conformément à la Politique sur les résultats (2016) du Secrétariat du Conseil du Trésor et a permis d'évaluer la pertinence, l'efficience et l'efficacité d'Agri-risques sur une période de cinq ans, à savoir les exercices 2018-2019 à 2022-2023. L'évaluation s'est appuyée sur plusieurs sources de données, notamment un examen des documents du programme, des dossiers de projets et d'autres ouvrages; des entrevues avec des informateurs clés, notamment des membres du personnel d' d'Agriculture et Agroalimentaire Canada (AAC) et des bénéficiaires de fonds; des analyses des données administratives et financières; et une étude de cas visant le Programme d'assurance prix du bétail dans l'Ouest (PAPBO). La présente évaluation ne constitue pas un examen approfondi du programme Agri-risques, étant donné que celui-ci n'est plus offert en tant que programme autonome. Toutefois, même les programmes non renouvelés doivent parfois être évalués aux termes de la Politique sur les résultats lorsque certaines conditions sont remplies. Pour obtenir de plus amples renseignements sur la méthode d'évaluation employée, prière de consulter l'annexe A.
3.0 Profil du programme
3.1 Aperçu du Programme des initiatives Agri-risques
Le Programme des initiatives Agri-risques (Agri-risques) était un programme de contributions non remboursables d'une durée de cinq ans, doté d'un budget annuel moyen de 11 millions de dollars. Le programme avait pour but d'accroître la capacité des producteurs canadiens à gérer les risques en finançant la recherche et le développement ainsi que la mise en œuvre et l'administration de nouveaux outils de gestion des risques dans le secteur agricole. Dans le cadre de ce programme, une aide financière a été accordée à des organisations avec ou sans but lucratif afin de faciliter l'élaboration et l'adoption d'outils de gestion des risques, y compris des produits d'assurance. Un soutien non financier a également été apporté aux gouvernements provinciaux et territoriaux. Le financement destiné à soutenir Agri-risques en tant qu'initiative autonome a pris fin le 31 mars 2023, le programme n'ayant pas été renouvelé en tant que programme autonome dans le cadre du Partenariat canadien pour l'agriculture (PCA) durable.
Agri-risques comportait trois volets :
- Recherche et développement (R et D) : Octroyaient des contributions non remboursables permettant aux bénéficiaires de recevoir jusqu'à 500 000 $ par exercice pour financer des activités de R et D menées par l'industrie en rapport avec les outils et les pratiques de gestion des risques. Les bénéficiaires du volet R et D devaient contribuer à hauteur de 25 % des coûts estimés du projet, en espèces ou en nature, ou une combinaison des deux.
- Microsubventions : Octroyait aux bénéficiaires jusqu'à 25 000 $ par exercice en financement non remboursable pour soutenir la recherche universitaire sur les questions relatives aux risques chez les entreprises agricoles.
- Renforcement des capacités administratives (RCA) : Fournissait aux bénéficiaires jusqu'à 5 millions de dollars par exercice pour soutenir l'administration et la mise à l'essai de la viabilité de nouveaux outils de gestion des risques, tels que les produits d'assurance, une fois la R et D terminée. Cette contribution pouvait inclure (sans dépasser la contribution fédérale maximale de 5 millions de dollars par exercice) une contribution fédérale unique allant jusqu'à 750 000 $ en financement de démarrage. Les contributions versées dans le cadre du volet RCA à des organismes sans but lucratif ou à des provinces et territoires n'étaient pas remboursables, à l'exception des contributions de démarrage, qui étaient remboursables sous conditions. Toutes les contributions, y compris les fonds de démarrage, versées à des organisations à but lucratif dans le cadre du volet RCA étaient remboursables. Pour les bénéficiaires du volet RCA, la contribution minimale requise de la part des bénéficiaires à but non lucratif était de 15 % des coûts, tandis qu'un minimum de 50 % était exigé des bénéficiaires à but lucratif. Pour les provinces et les territoires, la contribution d' d'Agriculture et Agroalimentaire Canada (AAC) était de 60 % et celle du bénéficiaire de 40 %.
Les résultats escomptés d'Agri-risques sont présentés dans le Modèle logique du programme (voir l'annexe A).
3.2 Ressources
Affectation des fonds
Le budget alloué à Agri-risques était de 55,0 millions de dollars sur cinq ans (2018-2019 à 2022-2023), mais les dépenses réelles n'ont été que de 29,5 millions de dollars. La figure 1 présente les ressources budgétées et les dépenses réelles du gouvernement fédéral de 2018-2019 à 2022-2023. Le programme a sous-utilisé environ 25,5 millions de dollars au cours de la période d'évaluation, ce qui représente environ 46 % du budget alloué. La sous-utilisation des crédits est principalement due à une participation plus faible que prévu. Les fonds non dépensés ont été réaffectés à d'autres programmes prioritaires d'AAC.
Figure 1 : Budget du programme et dépenses réelles, 2018-2019 à 2022-2023 (en millions de dollars)
(Dépenses totales prévues de 55 millions de dollars et dépenses réelles de 29,5 millions de dollars)
Description de l'image ci-dessous
La figure 1 présente un graphique à barres verticales montrant le budget et les dépenses réelles du programme par exercice financier, de 2018-2019 à 2022-2023. Le tableau ci-dessous présente le budget des dépenses et le cadre financier par exercice au cours de la période d'évaluation (en millions de dollars).
2018-2019 | 2019-2020 | 2020-2021 | 2021-2022 | 2022-2023 | Total | |
---|---|---|---|---|---|---|
Budget du programme | 12 | 12 | 12 | 9,6 | 9,6 | 55 |
Dépenses réelles | 2,9 | 6,3 | 5,8 | 7,4 | 7,1 | 29,5 |
4.0 Pertinence
4.1 Harmonisation avec les priorités d'Agriculture et Agroalimentaire Canada (AAC) et du gouvernement
Agri-risques concordait avec les priorités, les rôles et les responsabilités du Ministère et du gouvernement fédéral.
L'objectif d'Agri-risques était d'accroître la capacité des producteurs à gérer les risques auxquels ils font face en facilitant l'élaboration et l'adoption de nouveaux outils de gestion des risques. Le programme était conforme à la responsabilité principale d'AAC en matière de risques sectoriels, car il a aidé les producteurs à faire face aux risques et a contribué à deux des six résultats ministériels :
- le secteur agricole est résilient sur le plan financier
- le secteur de l'agriculture et de l'agroalimentaire est doté de systèmes d'assurance et d'outils de soutien.
Le programme concordait également avec les priorités du gouvernement fédéral énoncées dans le Partenariat canadien pour l'agriculture (PCA). Un des secteurs prioritaires du PCA était la gestion des risques. Ce secteur comprenait la promotion et l'élaboration d'outils de gestion des risques du secteur privé. Agri-risques a contribué à cette priorité en offrant du financement pour soutenir l'élaboration de nouveaux outils de gestion des risques.
Agri-risques était aligné à d'autres priorités du gouvernement fédéral, notamment les changements climatiques. Bien qu'il ne s'agissait pas d'une priorité déclarée, le programme a développé de nouveaux outils de gestion des risques pour faire face aux risques liés aux changements climatiques. Le personnel du programme a également mentionné que les changements climatiques ont suscité de nouveaux besoins en matière d'outils de gestion des risques en raison des conditions météorologiques changeantes.
4.2 Complémentarité avec d'autres programmes du gouvernement fédéral
Agri-risques complétait d'autres programmes sans double emploi ni chevauchement. Agri-compétitivité et Agri-protection étaient les programmes se rapprochant le plus d'Agri-risques, bien qu'ils ne visaient pas spécifiquement l'élaboration de nouveaux outils de gestion des risques.
L'évaluation a permis de constater qu'Agri-risques complétait d'autres programmes d'AAC, étant donné qu'il existait quelques programmes ayant des objectifs connexes. Aucun programme extérieur à AAC n'a été identifié comme ayant des objectifs complémentaires ou présentant un chevauchement avec Agri-risques.
Les objectifs d'Agri-risques complétaient l'ensemble existant de programmes de Gestion des risques de l'entreprise (GRE) de base (Agri-protection, Agri-stabilité, Agri-relance et Agri-investissement) tel que mis en œuvre dans le cadre du PCA. Agri-risques était le seul programme à financer la recherche, le développement et l'administration de nouveaux outils de gestion des risques. En outre, le programme favorisait la gestion proactive des risques en encourageant les intervenants à assumer une plus grande responsabilité dans l'élaboration et l'adoption de nouveaux outils et stratégies de gestion des risques.
De tous les programmes mis en place dans le cadre du PCA, Agri-compétitivité et Agri-assurance sont ceux dont les objectifs sont les plus similaires à ceux d'Agri-risques. Comme dans le cas d'Agri-risques, l'un des objectifs d'Agri-compétitivité est d'améliorer la gestion des exploitations agricoles, ce qui inclut les activités de gestion des risques. Toutefois, Agri-compétitivité ne couvrait pas la recherche et le développement de nouveaux outils de gestion des risques dans le cadre du PCA. Tout comme Agri-risques, Agri-assurance vise à aider les producteurs à apprendre à utiliser et à administrer les nouveaux outils de gestion des risques. Alors qu'Agri-assurance aide les organisations à but non lucratif et les agriculteurs individuels à élaborer ou à respecter des exigences commerciales et réglementaires pour réduire les risques, Agri-risques aidait divers secteurs agricoles à trouver, à élaborer ou à mettre en place des outils définis par le secteur comme des outils visant à gérer les risques d'entreprise.
5.0 Conception et rendement du programme
5.1 Efficience
Bien que certaines pratiques prometteuses visant à améliorer l'efficience aient été mises en œuvre, les données disponibles montrent que les normes de service n'étaient pas toujours respectées.
Normes de service d'Agri-risques
La rapidité d'accès aux services publics est un facteur clé de la satisfaction des clients,note de bas de page 1 et les normes de service aident à mesurer la rapidité du service. Au cours de la période d'évaluation, cinq normes de service ont été suivies (comme résumé dans le tableau 1). Les normes de service relatives aux demandes de renseignements et à l'accusé de réception des demandes étaient généralement respectées. Toutefois, le respect des normes relatives à l'évaluation des demandes et au paiement des réclamations était moins uniforme. Au cours de la période d'évaluation, l'objectif d'envoyer 80 % des lettres d'approbation ou de rejet des demandes dans un délai de 100 jours ouvrables n'a été atteint qu'en 2022-2023. L'objectif d'envoyer 80 % des paiements de réclamations dans les 30 jours a été atteint trois années sur cinq.
Tableau 1 : Normes de service
Norme de service | Objectif (%) | 2018-2019 (%) | 2019-2020 (%) | 2020-2021 (%) | 2021-2022 (%) | 2022-2023 (%) |
---|---|---|---|---|---|---|
Accuser réception des demandes dans un délai d'un jour ouvrable | 80 | non suivi | 100 | 100 | S.O. | S.O. |
Évaluer les demandes et envoyer une lettre d'approbation ou de rejet dans un délai de 100 jours ouvrables suivant la réception de la demande complète | 80 | 6 | 0 | 54 | 71 | 100 |
Répondre aux demandes de renseignements d'ordre général reçues par courriel avant la fin du prochain jour ouvrable | 80 | 100 | 87 | 88 | S.O. | S.O. |
Répondre aux demandes de renseignements d'ordre général reçues par téléphone avant la fin du prochain jour ouvrable | 80 | 88 | 100 | 100 | 93 | 100 |
Envoyer un paiement dans les 30 jours ouvrables suivant la réception d'une demande complète | 80 | 74 | 100 | 81 | 64 | 86 |
La gestion du programme a noté que des changements dans la prestation du programme ont contribué aux difficultés rencontrées pour atteindre les normes de service. Le Programme est passé d'une division à une autre à d'Agriculture et Agroalimentaire Canada (AAC) à la fin de l'exercice 2018-2019. Les décisions relatives aux demandes ont été affectées par ce processus en 2018-2019 et 2019-2020. La pandémie de COVID-19 a également eu un impact sur l'examen des demandes en 2020-2021 et 2021-2022.
Pratiques prometteuses
Le processus de demande en deux étapes a été considéré comme un point fort, car ce modèle permet une présélection des projets. De même, le processus d'admission ouvert a été considéré comme optimal, car il permettait un dialogue ouvert sur des sujets complexes ou abstraits si les agents de programme avaient des questions ou besoins de plus d'information sur les projets. Cette approche a permis d'identifier les besoins les plus pertinents et de délimiter correctement la portée des projets soumis. Cette méthode présente également l'avantage d'alléger la charge administrative des agents de programme et des demandeurs qui n'étaient pas certains du volet auquel présenter leur demande.
En outre, la souplesse au niveau des activités admissibles au programme a été jugée utile. Cela a donné de la latitude pour adapter les activités, permettant par exemple aux bénéficiaires de passer d'ateliers en personne à des ateliers virtuels pendant la pandémie de COVID-19.
5.2 Efficacité
Le programme a fait des progrès dans l'atteinte des résultats immédiats et intermédiaires. Toutefois, la mesure dans laquelle le résultat final a été atteint n'a pas été évaluée par rapport à une cible de rendement.
Le programme avait un résultat immédiat qui consistait à mieux faire connaître les outils de gestion des risques et les stratégies d'atténuation, et qui a été mesuré à l'aide de l'indicateur « nombre de produits d'information élaborés ». Cet indicateur a été suivi au moyen de rapports de rendement, même si l'indicateur initial du Profil d'information sur le rendement (PIR) était le « nombre d'éléments d'information élaborés ». L'indicateur utilisé a été révisé au cours de la période d'évaluation, mais le PIR n'a pas été mis à jour.
Bien que cet indicateur n'ait pas été suivi par le programme, les conclusions de l'évaluation indiquent que les produits d'information financés par Agri-risques ont permis de mieux faire connaître les outils de gestion des risques. Le programme a partiellement atteint ses résultats intermédiaires dans le cadre du volet Recherche et développement (R et D), en soutenant l'élaboration d'outils de gestion des risques. Toutefois, le programme a manqué de peu son objectif de soutenir l'élaboration de 40 outils de gestion des risques, car 37 outils seulement ont été soutenus. Cela s'explique probablement par le fait que le nombre de nouveaux outils de gestion des risques bénéficiant d'un financement a été moins élevé que prévu.
Le programme a progressé vers son résultat de soutenir l'adoption d'outils et de stratégies de gestion des risques. L'évaluation a montré que certains projets ont débouché sur des produits d'assurance et ont été adoptés par les producteurs. L'extension du Programme d'assurance des prix du bétail dans l'Ouest a été une réussite majeure.
Programme d'assurance des prix du bétail dans l'Ouest
Le financement d'Agri-risques a permis une expansion régionale du Programme d'assurance des prix du bétail dans l'Ouest (PAPBO), un programme axé sur les producteurs albertains, à d'autres provinces de l'Ouest, avec l'intention qu'il soit dirigé et développé par l'industrie. Le PAPBO, devenu le Programme d'assurance des prix du bétail (PAPB), a pour principal objectif de protéger les producteurs contre les baisses de prix inattendues en assurant le prix ou la valeur future du bétail. La participation au PAPBO est volontaire, et les primes d'indemnisation sont entièrement payées par les éleveurs. Dans le cadre du volet Renforcement des capacités administratives (RCA) d'Agri-risques, les coûts d'administration et d'exécution ont été partagés par les gouvernements fédéraux et provinciaux (accord de partage des coûts 60:40) aux termes du Partenariat canadien pour l'agriculture (PCA).
Dans un rapport de la Chambre des communes de 2020note de bas de page 2 sur les programmes de GRE, on recommande de faire du PAPB un programme permanent ne dépendant pas du renouvellement de chaque cadre stratégique en agriculture et de soutenir un programme similaire pour les producteurs de bœuf des Maritimes. Le PAPB est maintenu en tant que programme autonome dans le cadre du PCA durable.
Des outils décisionnels ont également été créés pour les petites denrées, notamment des outils élaborés par des groupes de protection des bassins versants pouvant être utilisés par les producteurs lorsque certaines conditions météorologiques se présentent. Par exemple, au Québec, un outil décisionnel comprenant différents types de scénarios a été élaboré pour aider les éleveurs de moutons qui souhaitaient diversifier leur troupeau. Cette initiative a été bénéfique pour ce secteur, car les consultants y sont moins nombreux et l'outil pourrait aider tant les nouveaux éleveurs que les éleveurs expérimentés en répondant à toutes les questions qu'ils pourraient se poser.
Dans l'ensemble, Agri-risques a pu soutenir l'élaboration de produits d'assurance et la souscription à ceux-ci, mais certains facteurs échappaient à son contrôle. L'un des facteurs clés est le fait que le secteur soit ou non assujetti à la gestion de l'offre. En général, dans un secteur sous gestion de l'offre, les offices provinciaux peuvent mettre en place des exigences obligatoires en matière d'assurance. Cela peut également conduire à des options d'assurance plus abordables, car un plus grand nombre de souscripteurs fait baisser les primes. Cela suppose néanmoins qu'il y ait un accord entre les différents intervenants concernés sur des considérations telles que les réciprocités. Dans les secteurs qui ne sont pas sous gestion de l'offre, l'abordabilité est un facteur clé. Si les producteurs trouvent le prix trop élevé, ils peuvent être moins enclins à adopter le produit d'assurance et se demander pourquoi le gouvernement ne soutient pas l'assurance en l'offrant à un prix réduit.
5.3 Efficacité — Profil d'information sur le rendement
Le profil d'information sur le rendement du programme présente quelques faiblesses en termes de cohérence et de fiabilité.
Les résultats escomptés et les indicateurs connexes sont définis pour le programme dans un profil d'information sur le rendement (PIR). Les éléments clés du PIR sont présentés dans le tableau 2.
Tableau 2 : Résultats et indicateurs du programme Agri-risques
Niveau de résultat | Énoncé de résultat | Indicateur |
---|---|---|
Résultats immédiats | Amélioration de la connaissance des outils de gestion des risques et des stratégies d'atténuation. |
1. (PIR) Nombre de produits d'information élaborés 1. (ajouté dans le rapport sur le rendement) Nombre d'items d'information partagés |
Résultats intermédiaires | Élaboration et examen d'outils et de services de gestion des risques qui mobilisent les producteurs. |
2. Taux d'adoption (volet Renforcement des capacités administratives) 3. Nombre d'outils de gestion des risques élaborés (volet Recherche et développement) |
Résultats finaux | Les producteurs ont adopté des outils et des stratégies de gestion des risques. | 4. Nombre de nouveaux outils élaborés qui ont été mis en place par l'industrie et offerts aux producteurs pour gérer les risques de l'entreprise. |
L'évaluation comprenait un examen du PIR, qui a permis de cerner plusieurs points à améliorer. Ces points sont décrits ci-dessous.
Chaîne de résultats
Le PIR ne reflétait pas de manière adéquate une chaîne logique de résultats. Ainsi, les résultats du modèle logique et le PIR correspondant nécessiteraient une mise à jour si Agri-risques était toujours exécuté en tant que programme autonome.
Pour créer une progression logique entre les résultats, les résultats immédiats actuels et les résultats intermédiaires (tels qu'énumérés dans le tableau 2) pourraient soit être inversés, soit déplacés au même niveau. Dans une séquence logique, les outils devraient généralement être élaborés avant que l'on puisse améliorer la connaissance de ces outils. De même, les producteurs ne peuvent pas adopter un outil de gestion et des stratégies connexes dont ils ignorent l'existence. Dans le cas spécifique d'Agri-Risques, le développement et la sensibilisation peuvent également avoir lieu simultanément, la sensibilisation se faisant au fur et à mesure que les outils sont développés, mais avant qu'ils ne soient finalisés. Ainsi, le développement d'outils et la sensibilisation pourraient être considérés comme des résultats immédiats.
PIR — Indicateurs de rendement
L'évaluation a révélé que certains indicateurs de rendement tel que défini dans le PIR n'étaient pas clairement liés aux résultats qui leur étaient associés. Un indicateur est utilisé pour mesurer les progrès accomplis dans la réalisation des résultats d'un programme. Les indicateurs de rendement utilisés pour mesurer les résultats, tels qu'ils sont décrits dans le PIR, n'ont pas de lien clair avec les résultats correspondants.
Bien que le Programme ait mis à jour les indicateurs utilisés dans les rapports sur le rendement afin de mieux les aligner sur les résultats escomptés, ils n'ont pas apporté ces changements dans le PIR. Le PIR est destiné à saisir les indicateurs utilisés pour mesurer les résultats et à être mis à jour tout au long de la durée de vie d'un programme pour refléter les changements apportés aux rapports sur le rendement. Ainsi, les indicateurs de performance utilisés pour mesurer les résultats auraient dû être mis à jour dans le PIR.
Plusieurs domaines à clarifier dans le PIR ont été identifiés :
- L'indicateur « nombre de produits d'information élaborés », qui est le seul indicateur inclus dans le PIR, ne rend pas compte de manière adéquate la sensibilisation. Néanmoins, dans la pratique, le programme a collecté des informations sur un indicateur supplémentaire, « nombre d'éléments d'information partagés », qui contribue à éclairer la mesure du résultat immédiat.
- L'indicateur « taux d'adoption » a été utilisé pour mesurer les progrès vers le résultat escompté « élaboration et examen d'outils et de services de gestion des risques qui mobilisent les producteurs » pour le volet des Renforcement des capacités administratives. Alors que le volet Recherche et Développement a mesuré l'élaboration de nouveaux outils de gestion des risques. Il existe un alignement plus clair entre l'indicateur d'adoption et le résultat ultime, ce qui suggère qu'un énoncé de résultat supplémentaire pourrait être nécessaire pour clarifier la logique du programme pour le volet Recherche et Développement.
- Il y a résultat ultime et un indicateur associé définis, mais aucune cible n'accompagne l'indicateur. De ce fait, il n'est pas possible de déterminer dans quelle mesure le résultat a été atteint ou non. Bien que des informations ont été recueillies à travers les rapports sur le rendement pour déterminer si le programme a progressé vers le résultat, il est impossible de déterminer si le résultat a été atteint ou non en l'absence d'une cible à utiliser comme seuil de réussite. Bien que les indicateurs difficiles à mesurer peuvent être utilisés de manière appropriée dans les PIR, mais dans ce cas-ci, l'indicateur (nombre de nouveaux outils élaborés qui ont été mis en place par l'industrie et offerts aux producteurs pour gérer les risques de l'entreprise) n'a pu avoir qu'une cible quantitative établie sur la base des informations contenues dans les rapports finaux de rendement.
PIR — groupes sous-représentés
La conception d'Agri-risques ne compte pas d'objectifs spécifiques ou d'activités ciblées pour faciliter ou soutenir la participation des groupes sous-représentés.
Dans le cadre de l'évaluation, on a examiné le degré d'intégration des considérations liées à l' Analyse comparative entre les sexes (ACS) Plus dans Agri-risques et on a constaté que ces considérations n'étaient intégrées que dans une mesure très limitée dans la conception et l'exécution du programme, basé sur les attentes des programmes de l'époque. Dans le cadre du PCA, les exigences relatives à l'intégration de l'ACS Plus dans les programmes étaient limitées. De même, le programme ou le guide du demandeur ne comportait aucun paramètre permettant de s'assurer que les nouveaux outils de gestion des risques élaborés s'adressaient aux producteurs des groupes sous-représentés.
Plus précisément, il n'y avait initialement aucune exigence dans la trousse de demande ou le modèle de rapport de rendement du projet pour indiquer si et comment les projets aideraient les groupes sous-représentés ou les organisations qui desservent ceux-ci. Ceci a été abordé par le programme dans une version ultérieure de la trousse de demande de financement, introduite au cours de la période d'évaluation, où l'on demandait aux demandeurs si leur projet ciblait un groupe sous-représenté en particulier (agriculteurs et gestionnaires de terres autochtones; femmes en agriculture; jeunes et agriculteurs débutants; communautés de langue officielle en situation minoritaire; et agriculteurs en situation de handicap). Toutefois, ces informations n'ont pas été utilisées pour déterminer si un financement serait alloué, et les demandeurs pouvaient refuser de répondre à ces questions. Il en résulte un manque de données pour déterminer dans quelle mesure ces groupes ont bénéficié du programme ou quel impact le programme a pu avoir sur eux. Néanmoins, l'évaluation n'a pas permis de cerner des obstacles à la participation à Agri-risques, en particulier chez les groupes sous-représentés ou en lien avec l'ACS Plus.
6.0 Leçons tirées et conclusions
Agri-risques répondait à un besoin du secteur agricole en finançant des projets conformes aux priorités d' d'Agriculture et Agroalimentaire Canada (AAC) et du gouvernement fédéral en ce qui concerne la capacité des producteurs à gérer les risques auxquels ils font face. Le programme soutenait la responsabilité principale d'AAC en matière de risques sectoriels, a contribué à deux résultats ministériels et complétait d'autres programmes d'AAC ayant des objectifs similaires. Le programme concordait également avec les priorités du gouvernement énoncées dans le Partenariat canadien pour l'agriculture (PCA). Le programme a mis en œuvre des pratiques visant à favoriser une exécution efficace et a partiellement atteint ses résultats immédiats et intermédiaires, au moins en partie en raison de la faible participation. L'évaluation a permis de cerner deux éléments à améliorer pour renforcer les programmes futurs à AAC.
Tout d'abord, les programmes futurs pourraient être conçus de façon à permettre de mieux comprendre dans quelle mesure d'autres groupes accèdent aux projets financés et en bénéficient, et à s'assurer qu'il n'y a pas d'obstacles à la participation des groupes sous représentés. L'intégration de l' Analyse comparative entre les sexes (ACS) Plus, comme l'exige désormais le PCA durable, devrait être utile à cet égard. Plus précisément, pour mesurer l'intégration de l'ACS Plus et des considérations connexes dans la conception et l'exécution des programmes futurs et évaluer les répercussions de ceux-ci, des exigences obligatoires en matière de collecte de données et une méthodologie claire sont nécessaires pour définir des résultats qui tiennent compte des principes de l'ACS Plus.
Deuxièmement, l'examen de la stratégie de mesure du rendement du Profil d'information sur le rendement (PIR) d'Agri-risques a démontré la nécessité pour les programmes actuels et futurs de veiller à ce que les indicateurs et les résultats soient clairement alignés sur le modèle logique. Cette façon de faire garantirait également que les programmes disposent de données fiables et valides sur les résultats au niveau du rendement à des fins de suivi et d'évaluation afin de gérer et d'améliorer les programmes, les politiques et les services. Cet exercice pourrait s'inscrire dans le cadre d'un examen cyclique des stratégies de mesure du rendement.
Annexe A : Modèle logique
Activités
- Activités des bénéficiaires : Recueillir et analyser des données; former des équipes de gestion de projet; évaluer les risques auto-identifiés et les stratégies d'atténuation.
- AAC : Gérer et superviser le programme.
- Activités des bénéficiaires : Négocier avec les prestataires de services financiers pour assurer la fourniture de nouveaux outils.
- Activités des bénéficiaires : Mener des activités de transfert des connaissances sur les nouveaux outils de gestion des risques et les stratégies d'atténuation.
Extrants
- Analyse de données et rapports; évaluations des risques; analyses de rentabilité pour les nouveaux outils.
- AAC : Produits de gestion et de surveillance du programme (nombre d'accords de contribution; % des normes de service respectées).
- Accords avec des agents de prestation de services financiers.
- Lancement et mise en œuvre d'outils et de produits de gestion des risques en agriculture; produits de promotion et de marketing (brochures, contenu en ligne); séminaires et produits éducatifs (brochures, etc.).
Résultats immédiats
Amélioration de la connaissance des outils de gestion des risques et des stratégies d'atténuation.
Résultats intermédiaires
Élaboration et examen d'outils et de services de gestion des risques qui mobilisent les producteurs.
Résultats finaux
Les producteurs ont adopté des outils et des stratégies de gestion des risques.
Source : Profil d'information sur le rendement (PIR) d'Agri-risques, 2018
Annexe B : Méthode d'évaluation
Examen des documents
L'examen des documents a permis d'évaluer la pertinence, la conception, l'exécution et l'efficacité du programme. Plusieurs types de documents ont été analysés au cours de la période de référence (2018-2019 à 2022-2023), notamment les politiques, les mandats et les engagements d'AAC. Plusieurs documents relatifs au programme ont également été examinés, notamment les guides du demandeur, les rapports d'évaluation antérieurs et les lignes directrices du programme.
Examen des données
Un examen des données a été réalisé pour appuyer l'évaluation de l'exécution, de l'efficience et de l'efficacité du programme. L'examen des données a porté sur tous les projets soumis au cours de la période d'évaluation. La majeure partie de l'analyse effectuée portait sur les données tirées de la base de données du programme concernant tous les projets financés par Agri-risques pour lesquels des ententes de contribution ont été signées.
Examen des dossiers de projet
Un examen des dossiers de projet a été réalisé pour appuyer l'évaluation de la pertinence et de l'efficacité du programme. L'examen offre une analyse des documents contenus dans tous les dossiers de projet d'Agri-risques entre 2018-2019 et 2022-2023. L'analyse a porté sur les informations contenues dans les demandes de projet, le budget et les données des rapports de rendement annuels et finaux, lorsqu'ils étaient disponibles.
Entrevues avec les informateurs clés
Les entrevues avec les informateurs clés ont permis de recueillir les points de vue des intervenants du programme sur la pertinence, la conception, l'exécution et l'efficacité d'Agri-risques. Au total, douze entrevues ont été menées entre octobre et décembre 2023. Les bénéficiaires ont été présélectionnés pour les entrevues en fonction du volet de leur projet, de leur région et du montant de financement reçu.
Étude de cas
L'évaluation comprenait une étude de cas sur le Programme d'assurance des prix du bétail (PAPB) qui a reçu un financement d'Agri-risques. Cette méthode de recherche qualitative a permis d'examiner le PAPB en recueillant des données provenant de sources multiples (par exemple, quatre entrevues et l'examen de documents). Cette étude de cas a permis une analyse plus approfondie de ce projet en particulier.