Sélection de la langue

Recherche

Évaluation du programme de lutte contre les gaz à effet de serre en agriculture (2016-2017 à 2020-2021)

Comité de gestion des résultats et des prestations,
12 Decembre 2019

Abbréviations

AAC
Agriculture et Agroalimentaire Canada
BVE
Bureau de la vérification et de l’évaluation
GES
Gaz à effet de serre
PLGESA
Programme de lutte contre les gaz à effet de serre en agriculture
S et C
Subventions et contributions

Résumé

Objet

Le Bureau de la vérification et de l’évaluation d’Agriculture et Agroalimentaire Canada (AAC) a entrepris une évaluation du Programme de lutte contre les gaz à effet de serre en agriculture (PLGESA) (2016-2021) dans le but d’évaluer sa pertinence, son rendement, sa conception et son exécution. Cette évaluation répond à une exigence de la Loi sur la gestion des finances publiques et de la Politique sur les résultats du Conseil du Trésor. Les résultats sont destinés à éclairer les décisions actuelles et à venir en matière de programmes et de politiques.

Portée et méthode

L’évaluation du Programme a porté sur la période du 1er avril 2016 au 24 juillet 2019. Les effets à long terme du Programme ont été évalués au moyen d’un examen des résultats de la version précédente du PLGESA (de 2010-2011 à 2015-2016) et de sa version actuelle. De nombreuses sources de données ont été incluses : un examen des évaluations précédentes; un examen des documents, des dossiers et des données; une analyse documentaire; un examen bibliométrique; des entrevues auprès des membres du personnel d’AAC, des bénéficiaires et des intervenants du projet; et des études de cas à long terme.

Contexte

Il existe deux versions du Programme de lutte contre les gaz à effet de serre en agriculture (PLGESA). Le premier PLGESA a commencé le 1er septembre 2010 et a pris fin le 31 mars 2016. Le Programme a été lancé dans le cadre de la contribution du Canada à l’Alliance mondiale de recherche pour l’atténuation des gaz à effet de serre (GES) en agriculture. Par la suite, il a été renouvelé, et sa version actuelle a commencé le 1er avril 2016 et prendra fin le 31 mars 2021. Les versions initiale et actuelle appuient des projets de recherche non dirigés par AAC au moyen d’ententes de contribution. Les projets de recherche visent à créer des technologies, des pratiques et des processus qui pourront être adoptés par les agriculteurs afin d’atténuer les émissions de GES. Ces projets ont également pour but d’aider les agriculteurs à améliorer leur compréhension des émissions de GES.

Constatations

Conclusions

L’évaluation a révélé que le PLGESA répond à un besoin existant en matière de recherche sur les émissions de GES en agriculture et les technologies et pratiques agricoles. Le Programme cadre avec les rôles, les responsabilités et les priorités du gouvernement fédéral et du Ministère, et il est en voie de produire ses extrants et résultats en matière de rendement. Toutefois, des modifications apportées à la conception et à l’exécution des processus de demande de remboursement, de même que des lacunes au chapitre des communications, ont semé la confusion et, dans certains cas, ont alourdi considérablement le fardeau administratif et financier des bénéficiaires. Cette situation pourrait être due à des incompatibilités inhérentes aux attentes concernant le financement de la recherche et aux exigences du programme de contribution. Les indicateurs de rendement actuels du Programme ne saisissent pas certaines des retombées qu’ont ces projets dans le secteur, et l’évaluation a permis de recenser des occasions manquées visant le partage des connaissances et la communication des résultats dans le cadre du Programme.

Recommandations

Recommandation 1

Le sous-ministre adjoint, Direction générale des programmes, devrait revoir des aspects de la conception et de l’exécution du Programme afin d’en assurer l’efficience et l’efficacité administratives pour AAC et pour les bénéficiaires.

Recommandation 2

Le sous-ministre adjoint, Direction générale des programmes, devrait revoir et réviser le modèle logique et les mesures du rendement du PLGESA afin de mieux saisir les activités menées dans le cadre des projets financés et les répercussions de ceux-ci.

Recommandation 3

Le sous-ministre adjoint, Direction générale des programmes, devrait faciliter des occasions de permettre l’échange de connaissances et la communication des résultats du Programme.

1.0 Introduction

Le Bureau de la vérification et de l’évaluation d’Agriculture et Agroalimentaire Canada (AAC) a entrepris une évaluation du Programme de lutte contre les gaz à effet de serre en agriculture (PLGESA) (2016-2021) dans le cadre du plan intégré d’audit et d’évaluation de 2018-2019 à 2021-2022. Cette évaluation répond à une exigence de la Loi sur la gestion des finances publiques et de la Politique sur les résultats du Conseil du Trésor. Les résultats de cette évaluation sont destinés à éclairer les décisions actuelles et à venir en matière de programmes et de politiques.

2.0 Portée et méthode

L’évaluation visait la pertinence et le rendement des activités menées dans le cadre du Programme durant la période du 1er avril 2016 au 24 juillet 2019. Le PLGESA a été évalué au moyen de diverses méthodes, notamment un examen des documents, des dossiers et des données; une analyse documentaire; un examen bibliométrique; des entrevues auprès des membres du personnel d’AAC, des bénéficiaires et des intervenants du projet; des études de cas à long terme. Les retombées à long terme du Programme ont été évaluées en examinant les résultats de projets financés dans le cadre de la version précédente du Programme et de sa version actuelle.

Pour obtenir des détails sur la méthode d’évaluation, voir l’annexe A.

3.0 Profil du Programme

3.1 Contexte

Le PLGESA représentait au départ la contribution du Canada à l’Alliance mondiale de recherche pour l’atténuation des gaz à effet de serre (GES) en agriculture. Le Canada est l’un des membres fondateurs de cette alliance, lancée officiellement lors de la Conférence des Nations Unies sur les changements climatiques, tenue à Copenhague, au mois de décembre 2009. L’Alliance mondiale de recherche est un réseau international composé de plus de 30 États membres qui collaborent à la recherche agricole sur l’atténuation des GES et sur les pratiques de gestion bénéfiques. L’objectif de cette alliance est d’accroître la coopération internationale et l’investissement dans les activités de recherche visant à réduire l’intensité des émissions issues de la production agricole et à augmenter le potentiel de séquestration ou de stockage du carbone des sols (Global Research Alliance Charter, 2011).

L’inventaire officiel de GES du Canada (2017) indique que 8 % des émissions de GES du Canada proviennent de la production de cultures et de bétail, à l’exclusion des émissions issues de l’utilisation des combustibles fossiles ou de la production d’engrais. Les principaux gaz émis par les activités agricoles sont les suivants :

Grâce à des pratiques de gestion bénéfiques, l’agriculture peut contribuer à réduire au minimum les facteurs qui contribuent aux changements climatiques. Les sols agricoles ont le potentiel de stocker (séquestrer) le carbone et de piéger le dioxyde de carbone dans la végétation pérenne pour ainsi compenser les émissions de carbone émises dans d’autres secteurs.

Le premier PLGESA s’est déroulé du 1er septembre 2010 au 31 mars 2016. Le secteur agricole et le gouvernement du Canada reconnaissent toujours la nécessité d’élaborer et d’adopter des pratiques de gestion bénéfiques afin de réduire au minimum les répercussions du secteur sur l’environnement. Le 19 janvier 2016, le ministre d’AAC a approuvé le renouvellement du Programme pour cinq ans (du 1er avril 2016 au 31 mars 2021). Dans la deuxième version, aucun changement majeur n’a été apporté aux objectifs et aux exigences du Programme. La première version et la version actuelle du Programme appuient des projets de recherche non dirigés par AAC au moyen d’ententes de contribution (financement fourni par le gouvernement fédéral et devant être dépensé selon des conditions convenues). Les projets de recherche visent à créer des technologies, des pratiques et des processus qui pourront être adoptés par les agriculteurs afin d’atténuer les émissions de GES.

3.2 Objectifs du Programme

Le PLGESA vise à mieux comprendre les technologies agricoles et les pratiques de gestion bénéfiques que peuvent adopter les producteurs pour atténuer les émissions de GES au Canada et à en faciliter l’accès.

Les recherches menées dans le cadre du Programme visent à mieux comprendre les processus chimique, physique et biologique menant aux émissions de GES qui proviennent des systèmes agricoles et touchent les eaux de surface, les eaux souterraines et l’atmosphère dans quatre secteurs prioritaires clés : les systèmes d’élevage, les systèmes de culture, l’efficacité de l’utilisation de l’eau en agriculture et l’agroforesterie. Les projets de recherche ont pour but d’examiner :

Les recherches menées dans le cadre du PLGESA visent à aboutir à l’élaboration de pratiques de gestion bénéfiques et d’outils de diagnostic pouvant contributuer à mieux connaître les pratiques agricoles pouvant atténuer et/ou réduire les effets des émissions de GES et les pertes de nutriments.

Au bout du compte, le Programme devrait contribuer à atténuer les émissions de GES en agriculture, ce qui pourrait aider le Canada à tenir ses engagements à l’égard de l’environnement et des changements climatiques.

3.3 Gouvernance et exécution du Programme

Le PLGESA est géré par la Division des programmes environnementaux et de commercialisation de la Direction générale des programmes. Les documents du Programme ont été rédigés en consultation avec la Direction générale des sciences et de la technologie, car cette direction générale administrait le Programme avant avril 2012 et possède l’expertise scientifique et les capacités nécessaires pour évaluer les objectifs et les activités du Programme. Les représentants de la Direction générale des sciences et de la technologie ont participé à l’élaboration de demandes de projet et se chargent d’examiner les rapports sur le rendement des projets. L’ensemble des processus administratifs et financiers et des communications sont administrés par la Direction générale des programmes.

Le financement maximal offert pour chaque projet est de 2 millions de dollars. Les coûts admissibles d’un projet doivent être partagés entre AAC et le demandeur retenu (ainsi que d’autres parties, le cas échéant, par exemple, d’autres partenaires de l’industrie et d’autres administrations publiques). Le taux maximal de financement gouvernemental total (financement fédéral, provincial/territorial et municipal) pour le PLGESA ne dépasse généralement pas 85 % du budget du projet.

Voici les activités admissibles :

Voici les demandeurs admissibles à ce programme de contribution :

Tout au long d’un projet, les bénéficiaires sont tenus de soumettre des rapports sur le rendement annuel et final au plus tard le 31 mai de chaque année. Tous les rapports sur le rendement sont examinés et approuvés par la Direction générale des programmes, et la Direction générale des sciences et de la technologie fournit une aide scientifique informationnelle. Les résultats relatifs au rendement sont recueillis, analysés et stockés dans une base de données Access.

Le modèle logique du PLGESA présenté dans l’annexe B fournit d’autres détails sur les activités, les extrants et les résultats clés du Programme.

3.4 Ressources

Le PLGESA est un programme quinquennal (du 1er avril 2016 au 31 mars 2021) de 27 millions de dollars axé sur les demandes. Le tableau 1 présente le budget et les dépenses réelles de ce programme financé par les services votés, c’est à dire un financement permanent fourni au Ministère au début de chaque période budgétaire qui est distribué aux bénéficiaires au titre du crédit 10, Subventions et contributions (S et C).

Tableau 1 : Gaz à effet de serre en agriculture : budget et dépenses réelles du Programme
2016-17
Exercice
2017-18
Exercice
2018-19
Exercice
2019-20
Exercice
2020-21
Exercice
Total
Budget de S et C ($) 2,360,500 5,835,245 7,320,342 5,382,000 5,382,000 26,280,087
S et C réelles ($) 1,857,891 5,771,446 7,138,259 - - 14,767,596
Pourcentage du budget dépensé 79 99 98 - - -

Source : Direction générale des programmes, 2019.

Remarque : Comme les demandes de remboursement des bénéficiaires sont soumises et que les dépenses sont remboursées chaque trimestre, les dépenses réelles des exercices 2019-2020 et 2020-2021 ne seront accessibles qu’à la fin de ces exercices.

Durant la période d’évaluation, les renseignements financiers étaient accessibles jusqu’à la fin de l’exercice 2018-2019. Le tableau 1 montre que les fonds budgétés durant la première année du Programme ont été sous-utilisés, ce qui reflète un départ lent du Programme. Les ententes de contribution ont été signées vers la fin de l’exercice, et les bénéficiaires n’ont ainsi disposé que de trois mois pour dépenser les fonds qui leur avaient été alloués pour le premier exercice. Comme aucun report de fonds n’est permis, la période dont ont disposé les bénéficiaires pour mener des activités a été réduite, ce qui a entraîné des révisions budgétaires pour les exercices suivants.

4.0 Pertinence

Dans la présente section, on résume les conclusions de l’évaluation relativement à la pertinence du PLGESA. Pour ce faire, on étudie le besoin démontrable du Programme, son harmonisation avec les priorités du gouvernement et sa cohérence avec les rôles et les responsabilités du gouvernement fédéral.

4.1 Le Programme est-il toujours nécessaire?

Le PLGESA offre un financement utile et unique pour la recherche sur les stratégies, les technologies et les pratiques de gestion bénéfiques qui permettent d’atténuer les GES en agriculture.

Dans le cadre de l’évaluation, on a vérifié si le Programme continue d’être nécessaire et s’il tient compte des besoins des Canadiens. L’analyse de l’environnement a révélé qu’au Canada, le PLGESA est le seul programme ayant pour but de financer des recherches qui ciblent précisément l’élaboration de pratiques de gestion bénéfiques visant à atténuer les émissions de GES en agriculture. Les autres programmes nationaux de financement de la recherche ne visent que les pratiques bénéfiques du point de vue de l’environnement en tant que résultat secondaire de projets axés sur l’innovation et la production. La recherche sur les pratiques agricoles et sur les émissions de GES est toujours nécessaire, puisque ces gaz ont été désignés par l’Alliance mondiale de recherche comme des facteurs qui stimulent les changements climatiques mondiaux et qui ont une incidence sur les conditions météorologiques locales et sur la production agricole.

Le Rapport d’inventaire national de 2018 du gouvernement du Canada souligne que les GES agricoles comptent pour 8 % des émissions de GES du pays et qu’ils sont responsables de 28 % des émissions nationales de méthane et de 71 % des émissions d’oxyde nitreux. Les améliorations apportées aux pratiques de gestion des terres arables et des pâturages ont le potentiel de réduire l’intensité des émissions, d’accroître la productivité et l’efficience et d’atténuer les conséquences des changements climatiques sur la production.

En 2014, le Groupe international d’experts sur l’évolution du climat a déclaré que les changements climatiques ont des répercussions importantes sur la production agricole, du fait de l’intensité et de la fréquence accrues des sécheresses, des orages violents et d’autres événements météorologiques extrêmes posant des problèmes importants pour le secteur. L’imprévisibilité de ces événements fait ressortir le besoin de stratégies d’adaptation et d’atténuation et de recherches connexes. L’évaluation a révélé que le PLGESA fournit un financement ciblant précisément ce type de recherche.

Dans le secteur, on a besoin de solutions de rechange durables en matière de production agricole afin d’offrir aux agriculteurs des options quant à la façon de réduire les effets sur l’environnement, tout en augmentant leur production. Les données probantes liées à l’évaluation ont permis de déterminer que les pratiques de gestion bénéfiques élaborées dans le cadre des projets de recherche du PLGESA peuvent générer des données environnementales et économiques que les agriculteurs pourront utiliser pour évaluer les compromis et les coûts nécessaires à la mise en œuvre de ces pratiques. L’analyse documentaire a révélé que de nombreux facteurs influent sur la décision d’un producteur d’adopter de telles pratiques, notamment : les résultats économiques et environnementaux; les politiques et programmes en vigueur; le coût d’adoption.

L’évaluation a permis de déterminer que, sans le financement offert par le Programme, des projets de recherche sur les GES en agriculture n’auraient pas été réalisés ou l’auraient été à bien plus petite échelle. Il n’existe aucune autre source de financement nationale destinée à la recherche sur les GES en agriculture, et il n’existe qu’un programme de financement provincial (en Saskatchewan). Même si d’autres programmes de financement sont accessibles pour la recherche sur les GES en agriculture, les fonds versés ne sont habituellement destinés qu’aux projets à court terme, et ils ne sont pas conçus précisément pour permettre l’élaboration de pratiques de gestion bénéfiques destinées à l’agriculture au Canada.

Le nombre d’établissements universitaires et d’organismes sans but lucratif qui ont présenté une demande au titre du PLGESA témoigne du besoin de financement pour mener ces recherches. L’actuelle version du Programme a reçu 45 demandes et financé 20 projets, dont 7 pour prolonger des projets menés au titre du programme initial. Même si la période de réception des demandes (d’avril à juillet) était plus longue dans la version courante du Programme, 23 demandes de moins ont été reçues par rapport à la première version du Programme. Cette situation est peut-être due au moment inhabituel de la réception, car les demandes relatives à la recherche sont habituellement présentées à l’automne auprès des autres organismes de financement.

4.2 Harmonisation avec les priorités d’AAC et du gouvernement

Le PLGESA s’harmonise avec les priorités d’AAC et du gouvernement, en appuyant la mission et les directives relatives aux résultats du Ministère.

L’évaluation a révélé que les objectifs du PLGESA cadrent avec les priorités ministérielles. Plus précisément, la mission d’Agriculture et Agroalimentaire Canada (2019-2020) est la suivante : « orienter la croissance et le développement d’un secteur canadien de l’agriculture et de l’agroalimentaire compétitif, innovateur et durable ». Les données probantes obtenues dans le cadre de l’évaluation ont révélé que le  PLGESA favorise l’accomplissement de cette mission de trois manières :

Les résultats du Programme traités sous la rubrique du rendement (section 5.0) favorisent également l’obtention des résultats ministériels suivants :

4.3 Harmonisation avec les rôles et les responsabilités du gouvernement fédéral

Le PLGESA s’harmonise également avec les rôles et responsabilités du gouvernement fédéral et donne suite aux engagements de ce dernier à l’égard de divers accords nationaux et internationaux liés aux changements climatiques et à l’atténuation des GES.

Au départ, le PLGESA a été élaboré dans le but de contribuer à l’engagement du gouvernement du Canada envers l’Alliance mondiale de recherche, alliance internationale visant à accroître la collaboration en matière de recherche agricole afin d’atténuer les GES en agriculture dans le monde entier. Le gouvernement du Canada est toujours déterminé à réduire les émissions de GES au moyen de divers accords nationaux et internationaux. En 2015, il a signé l’Accord de Paris, qui a pour but de réduire les émissions de GES à un taux inférieur de 30 % à ceux de 2005 d’ici 2030. La même année, le Canada a adopté lors de l’Assemblée générale des Nations Unies le Programme de développement durable à l’horizon 2030, qui comprend un objectif spécifique : « Faim “zéro”, consommation et production responsables et lutte aux changements climatiques ».

En outre, plusieurs cadres et engagements ont été établis à l’échelon national dans le but de réduire les émissions de GES et de favoriser le développement durable. Le Cadre pancanadien de  2016 sur la croissance propre et les changements climatiques et la Stratégie fédérale de développement durable (2019-2022) comprennent tous deux des mesures et des objectifs liés à l’agriculture comme moyens de lutter contre les changements climatiques et de favoriser le développement durable au Canada.

L’évaluation a révélé que le PLGESA appuie des initiatives qui peuvent ouvrir la voie à une vaste adoption ou application des pratiques de gestion bénéfiques pour les exploitations agricoles canadiennes. Ce programme devrait aider le secteur agricole canadien à atteindre ses objectifs liés à l ’agriculture et aux changements climatiques prévus dans les accords internationaux et nationaux. Le Programme est placé de façon stratégique afin d’être réceptif aux préoccupations internationales actuelles, comme la demande faite aux pays en 2019 par le Groupe d’experts intergouvernemental sur l’évolution du climat de l’ONU pour qu’ils s’attaquent aux changements climatiques et aux problèmes liés à la gestion des terres. Les projets de recherche financés par le PLGESA ont le potentiel de contribuer à l’atténuation des émissions de GES et d’augmenter la durabilité environnementale du secteur agricole canadien. Le Programme peut également contribuer à la réalisation des engagements du gouvernement du Canada à l’égard de l’environnement, du développement durable et des changements climatiques.

5.0 Conception et exécution du programme

La présente section résume les conclusions de l’évaluation liées à la conception et à l’exécution du PLGESA. Elle comprend un examen des processus de demande de remboursement, de l’efficience opérationnelle et du choix des mesures de rendement du Programme.

5.1 Contexte

De façon similaire à l’approche adoptée lors de la première version du PLGESA, la deuxième version a été lancée au moyen d’un seul appel de propositions ouvert auprès des demandeurs admissibles. Afin d’être pris en compte aux fins du financement, ces derniers devaient soumettre une demande complète, comprenant un formulaire de demande de projet dûment rempli (y compris un plan de travail et un budget de projet), le questionnaire complémentaire du PLGESA et des pièces justificatives supplémentaires exigées par le Programme pour qu’une évaluation complète de la proposition de projet puisse être effectuée.

La période de réception des demandes du PLGESA s’est déroulée du début avril au début juillet 2016. Les demandes ont été évaluées par un comité technique d’AAC, qui comprenait des membres de la Direction générale des programmes et de la Direction générale des sciences et de la technologie, lesquels ont formé des équipes pour évaluer les propositions. Toutes les propositions ont été classées par rapport aux critères du Programme et comparées les unes aux autres afin d’assurer la diversité dans les secteurs prioritaires, dans l’ensemble du continuum de la recherche, du développement et du transfert de technologie, et d’un point de vue géographique. Le comité technique a adressé des recommandations au Comité d’innovation des directeurs généraux d’AAC, qui a fait des recommandations finales au ministre sur les propositions de financement. Après le processus de sélection, les ententes de contribution des demandeurs retenus ont été signées, en janvier 2017, et les responsables des projets de recherche ont ensuite pu commencer à soumettre des demandes de remboursement pour leurs dépenses admissibles.

5.2 Processus de demandes de remboursement

Même si les processus de demande de remboursement du PLGESA sont harmonisés avec les procédures normales du Ministère, les modifications apportées aux politiques et processus relatifs aux demandes de remboursement depuis la première version du Programme, ainsi que des lacunes au chapitre des communications au moment du lancement de sa version actuelle, ont alourdi le fardeau administratif et financier des bénéficiaires.

Deux facteurs ont influé sur le processus de demandes de remboursement du PLGESA; le premier est la différence entre ce programme et d’autres programmes de recherche financés à l’échelon fédéral, et le deuxième est lié aux changements survenus dans ce processus. Les programmes de subvention financés à l’échelon fédéral sont des sources de financement courantes pour les activités de recherche; toutefois, le  PLGESA est un programme de contribution sous forme de paiements de transfert. Les différences inhérentes entre les deux systèmes ont présenté des défis pour les bénéficiaires du PLGESA du point de vue de la compréhension de ce qui constitue des dépenses admissibles et non admissibles. Ces différences, ainsi que le degré de compréhension limité des bénéficiaires à ce sujet, ont influé sur la planification financière de leurs projets et sur la période administrative requise pour rapprocher les budgets et les dépenses admissibles.

Le processus de demande de remboursement du PLGESA a évolué au fil du temps; dans la deuxième année du Programme (2017-2018), il relevait de la Division des demandes de remboursement et des règlements de la Direction des programmes d’innovation plutôt que des agents de programme; l’approche qui consiste à payer maintenant et à recueillir les échantillons après a été adopté et on a opté pour des indemnités journalières de déplacement correspondant à celles d’autres programmes et aux pratiques exemplaires. Les changements étaient conçus pour réduire le fardeau des bénéficiaires du Programme et pour garantir qu’ils reçoivent suffisamment de formation et de soutien pour respecter les exigences redditionnelles du Programme. Même si des séances de formation ont été organisées, les données probantes donnent à penser que le moment où elles ont eu lieu, leur contenu et la participation au début du Programme ont eu une incidence sur son efficacité. Les bénéficiaires et les agents financiers des établissements universitaires qui ont été interrogés mentionnaient constamment l’utilité des agents responsables des demandes de remboursement qui les ont aidés à s’y retrouver dans les politiques déroutantes sur les dépenses admissibles.

Des bénéficiaires interrogés (six sur dix) ont déclaré que les changements survenus dans le processus de demande de remboursement avaient semé la confusion dans leur esprit au moment de produire les rapports sur les demandes de remboursement. Ceux qui avaient participé à la version précédente du Programme ont trouvé les changements particulièrement difficiles, car ils ont souligné que les règles semblaient avoir changé au fil du temps, alors qu’en fait, on les faisait appliquer de façon plus uniforme dans le cadre de cette version. Les bénéficiaires qui avaient participé aux deux versions du  PLGESA ont déclaré une augmentation de l’ordre de 10 à 20 % du temps consacré à l’administration dans le cas de la version actuelle du Programme, qui s’est ajoutée aux coûts indirects. Trois agents financiers d’établissements universitaires, qui avaient travaillé à la première version du PLGESA, ont mentionné que les changements liés au degré de détail requis, la préapprobation de certaines dépenses de déplacement et d’accueil et la détermination de l’admissibilité des dépenses constituaient des problèmes de la version actuelle du PLGESA.

Trois documents distincts décrivaient les demandes de remboursement admissibles et non admissibles : le Guide du demandeur, l’entente de contribution et le Guide des bénéficiaires. Des éléments communs ont été trouvés dans les trois documents, mais il y avait aussi des écarts en ce qui concerne le nombre de détails fournis pour les postes et les termes non définis (par exemple, le traitement de dépenses normales en recherche, comme l’interprétation des contributions en nature, les frais d’entretien liés aux essais en laboratoire et les frais d’un autre département universitaire), qui ont semé la confusion chez les utilisateurs. En outre, l’entente de contribution ne contenait aucune mention d’un guide des bénéficiaires; elle signalait plutôt ce qui suit : [traduction] « La présente entente et le Guide du demandeur du Programme constituent l’intégralité de l’entente intervenue entre les parties ».

Quatre des six agents financiers universitaires interrogés ont déclaré avoir eu de la difficulté à comprendre les exigences d’admissibilité du Programme et ont mentionné qu’aucun document d’orientation clair n’était accessible au début du Programme. Ces lacunes au chapitre des communications ont causé des problèmes pour les calculs budgétaires utilisés dans l’entente de contribution et entraîné d’autres demandes de clarification – lesquelles prennent du temps - auprès des employés responsables du Programme et des demandes de remboursement. Le nombre de bénéficiaires ayant éprouvé des problèmes a eu une incidence sur le temps qu’ont passé les bénéficiaires et les agents responsables des demandes de remboursement d’AAC aux tâches d’administration des projets du PLGESA.

L’évaluation a révélé que le Guide des bénéficiaires et l’annexe (février 2017), qui comprenaient une liste plus détaillée des dépenses non admissibles, avaient été communiqués aux bénéficiaires après que leurs ententes de contribution, y compris leurs budgets connexes, ont été rédigés et approuvés (Figure 1). Les bénéficiaires croyaient que leurs budgets de projet avaient été approuvés par AAC au moment de la signature des ententes de contribution, mais ils ont appris par la suite que certains de leurs postes budgétaires étaient considérés comme non admissibles selon l’annexe du Guide des bénéficiaires. Comme ils n’avaient pas une compréhension approfondie de la politique sur les paiements de transfert, les bénéficiaires ont été incapables de planifier correctement leur budget de projet.

Figure 1. Chronologie de l’accessibilité des documents du Programme et de la signature de l’entente
La description de cette image suit.
Description de l’image ci-dessus
Chronologie de l’accessibilité des documents du Programme et de la signature de l’entente
Date Événement
Juin 2016 Guide du demandeur publié en ligne
Juillet 2017 Clôture de la réception des demandes
Décembre 2016 Les bénéficiaires ont reçu leur lettre d’acceptation
Janvier 2017 Ententes de contribution (y compris le budget des projets) signées
Février 2017 Guide des bénéficiaires envoyé aux bénéficiaires

L’approche d’échantillonnage fondé sur le risque (consistant à payer maintenant et à recueillir les échantillons après) adoptée en 2012 a réduit le fardeau documentaire des bénéficiaires, mais a augmenté le risque de confusion relativement aux coûts admissibles. La méthode d’échantillonnage sélectif obligeait les participants au Programme à fournir chaque trimestre, après paiement, des reçus pour une sélection de 10 % des demandes de remboursement. Il est possible que, dans les 90 % restants de demandes de remboursement non incluses dans l’échantillon, des éléments qui ne correspondaient peut-être pas à la définition de l’admissibilité au titre du Programme aient déjà été remboursés, ce qui a donné aux bénéficiaires l’impression qu’ils étaient admissibles. Si, par la suite, les mêmes dépenses sont incluses dans un échantillon et ne sont pas approuvées, l’admissibilité des demandes de remboursement semble ne pas être uniforme, ce qui sème encore plus la confusion. De plus, dans le cadre de l’examen des demandes de remboursement effectué aux fins de l’actuelle version du PLGESA, on a également recueilli des échantillons des dépenses financées par les bénéficiaires, lesquelles doivent également respecter les lignes directrices en matière d’admissibilité du Programme.

Même si les bénéficiaires ont éprouvé des difficultés en ce qui concerne l’admissibilité des demandes de remboursement, la Division des demandes de remboursement et des règlements d’AAC a déployé des efforts dans le but d’améliorer la compréhension des processus de demande de remboursement et de réduire le fardeau administratif des bénéficiaires. En 2018-2019, un nouveau modèle de rapport financier a été déployé afin de simplifier le processus. Les bénéficiaires du Programme ont reçu une formation sur la façon de le remplir et de le soumettre. Le nouveau modèle a normalisé les listes de transactions afin de garantir que seuls les renseignements nécessaires étaient déclarés.

5.3 Efficience opérationnelle

L’objectif de la Direction générale des programmes est de respecter les normes de service au moins 80 % du temps, dans des circonstances normales. L’évaluation a permis d’observer que la direction générale avait respecté trois des quatre normes de service (Tableau 2). Une seule norme de service n’a pas été pleinement respectée; elle consistait à évaluer les demandes et à envoyer des lettres d’approbation ou de rejet dans les 100 jours ouvrables suivant la réception par le demandeur d’une trousse de demande dûment remplie. Cette norme de service a été respectée pour 56 % des demandeurs de projet, cependant, les autres ont reçu leur lettre avec seulement un jour de retard. .

Tableau 2 : Respect des normes de service
Normes de service Exercice Nombre total de cas Respect de la norme (en %) Cible normale (80 %) atteinte
Répondre aux demandes de renseignements généraux (téléphone et courriel d’AAC) avant la fin du jour ouvrable suivant 2016-20171 84 94 Oui
Accuser réception d’une demande (dans le jour ouvrable qui suit) 2016-20171 45 100 Oui
Évaluer les demandes et envoyer des lettres d’approbation ou de rejet (dans les 100 jours ouvrables) 2016-20171 45 56 Non
Verser un remboursement (dans les 30 jours ouvrables suivant la réception d’une demande de remboursement dûment remplie et justifiée) 2016-2017 3 100 Oui
Verser un remboursement (dans les 30 jours ouvrables suivant la réception d’une demande de remboursement dûment remplie et justifiée) 2017-2018 35 86 Oui
Verser un remboursement (dans les 30 jours ouvrables suivant la réception d’une demande de remboursement dûment remplie et justifiée) 2018-2019 33 82 Oui

Source : Direction générale des programmes, 2019

1. Les données n’ont été recueillies que pour la première année (2016-2017) de la mise en œuvre du Programme.

On a constaté une réduction de l’efficience du traitement des demandes de remboursement, car les agents responsables de ces demandes se voyaient attribuer un bénéficiaire du Programme et/ou un projet différent chaque fois qu’ils examinaient des échantillons de demande de remboursement. Ainsi, ces agents avaient besoin de temps pour se familiariser avec les divers programmes et projets chaque fois qu’ils recevaient un dossier de demande de remboursement à examiner. Même si cette façon de traiter les demandes de remboursement n’a pas eu d’incidence sur la capacité du Programme de respecter les normes de service, il existe une possibilité d’améliorer l’efficience du Programme.

5.4 Mesure du rendement

Le modèle logique et les indicateurs de rendement du Programme ne reflètent pas avec exactitude l’ensemble des activités et des répercussions des projets financés.

L’évaluation a révélé que le modèle logique du Programme pouvait être amélioré et plus particulièrement que les extrants sont très semblables aux résultats intermédiaires. Les activités menées dans le cadre des projets n’ont pas été pleinement saisies par les indicateurs de rendement, certains de ces indicateurs étant trop restreints ou trop vastes. Les projets financés au titre du Programme sont très divers; ils représentent divers secteurs agricoles, quatre secteurs prioritaires différents et des régions de partout au Canada. En outre, les projets de recherche se situent à divers stades du continuum de la recherche, du développement et du transfert de technologie. Les mesures du rendement prédéfinies nuisent à la capacité de saisir ou de mesurer la diversité des projets.

Table 3 : Activités, extrants et résultats du Programme
Activités des bénéficiaires
  • 1. Amélioration des partenariats de recherche, du réseautage et de l’échange de renseignements (au pays et à l’étranger) afin de faciliter et de coordonner la recherche et l’exécution des pratiques de gestion bénéfiques
  • 2. Recherches portant sur l’atténuation des gaz à effet de serre produits par l’agriculture
  • 3. Transfert de nouvelles technologies et de pratiques de gestion bénéfiques sur l’atténuation des GES
Extrants des bénéficiaires
  • 1. Accords de collaboration et partenariats pour l’élaboration et la communication de la recherche appliquée sur l’atténuation des GES
  • 2a. Les bénéficiaires du Programmeaugmentent la base de connaissances scientifiques
  • 2b. Les connaissances sont communiquées dans les milieux universitaires
  • 3. Des produits d’information sont élaborés aux fins de diffusion auprès des agriculteurs par transfert de technologie.
Résultats immédiats
  • 1. De nouvelles technologies d’atténuation des GES et pratiques de gestion bénéfiques destinées au secteur sont élaborées, vérifiées et validées par les bénéficiaires du Programme
  • 2. Des domaines sont définis aux fins d’autres recherches ayant trait aux technologies d’atténuation des GES et aux pratiques de gestion bénéfiques
Résultats intermédiaires
  • 1. Les agriculteurs ont accès à des technologies d’atténuation des GES et à des pratiques de gestion bénéfiques (transfert des connaissances)
  • 2. Les connaissances sont communiquées dans les milieux universitaires
Résultat à long terme 1. Les connaissances des agriculteurs dans les domaines de l’atténuation des GES, des pratiques de gestion bénéfiques et des technologies sont améliorées

L’évaluation a permis de déterminer que l’indicateur choisi pour le résultat à long terme du transfert des connaissances aux agriculteurs ne saisissait pas suffisamment l’étendue de l’incidence du Programme. L’indicateur du nombre d’agriculteurs présents aux événements d’échange de connaissances ne garantit pas le transfert des connaissances et ne mesure pas la qualité de l’interaction. Les responsables des projets menés au titre du PLGESA mènent diverses activités d’échange de connaissances qui varient du point de vue de leur capacité à communiquer efficacement l’information aux agriculteurs; le regroupement de la participation à l’ensemble de ces activités ne permet pas de déterminer l’étendue de l’influence. Comme il s’agit du seul indicateur associé au résultat à long terme, les répercussions à long terme du Programme ne sont pas mesurées dans le modèle logique actuel.

Les indicateurs de rendement pourraient faire ressortir et reconnaître certains des avantages imprévus du Programme, notamment la formation et le perfectionnement d’un personnel hautement qualifié; la contribution à l’élaboration de politiques, et les possibilités actuelles de faciliter la commercialisation de produits agricoles en tant que produits durables.

Formation et perfectionnement du personnel hautement qualifié

L’évaluation a permis d’observer que le financement des projets de recherche permettait de perfectionner et de former un personnel hautement qualifié afin de développer le milieu des chercheurs qui se consacrent aux GES. Le financement de projets au titre du PLGESA permet l’embauche d’étudiants de premier cycle universitaire, d’étudiants de deuxième cycle, d’associés de recherche et de boursiers postdoctoraux. Le financement donne la possibilité de former des personnes dans les domaines des sciences liées aux GES en agriculture, tout en fournissant les ressources humaines nécessaires à l’achèvement des projets. Les données probantes obtenues grâce à une étude de cas dans le cadre de laquelle sept projets ont été examinés ont révélé qu’au moins 146 employés hautement qualifiés ont reçu une formation qui a commencé dans le cadre de la version initiale du PLGESA et qui a pris fin durant les deux premières années de la deuxième version du Programme. Les données qualitatives ont indiqué que le Programme avait permis à ces personnes d’utiliser leurs connaissances et leur formation pour trouver d’autres possibilités d’emploi dans le domaine agroenvironnemental, où la demande est forte.

Élaboration de politiques

Les projets de recherche généraient des discussions sur les politiques et l’élaboration de politiques et contribuaient à ces discussions et à cette élaboration à l’échelon provincial. Les données probantes obtenues dans le cadre de l’évaluation faisaient état d’interactions ou de communications avec des représentants stratégiques des gouvernements provinciaux relativement à l’élaboration de programmes et de règlements sur les GES. On a constaté que ces discussions amélioraient grandement l’adoption d’initiatives, après la fin du Programme. Les discussions sur les politiques et la mise en œuvre de politiques ne sont pas prises en compte dans les indicateurs de rendement et devraient être reconnues comme des éléments qui jouent un rôle important dans le processus menant de la recherche aux nouveaux programmes et à l’adoption de pratiques.

Produits commercialisés comme étant durables

L’évaluation a permis de remarquer que les recherches sur les pratiques de gestion bénéfiques menées par les bénéficiaires du Programme permettaient à certains agriculteurs de commencer à produire des denrées agricoles d’une manière plus durable, d’un point de vue environnemental, ou plus écologique. La mise en œuvre de ces pratiques de gestion bénéfiques contribue à la capacité des agriculteurs de commercialiser leurs denrées auprès des consommateurs comme étant respectueuses de l’environnement et durables, ce qui pourrait ouvrir de nouveaux marchés et augmenter les ventes. Même si ce sous-produit économique de la recherche était qualitatif et difficile à mesurer, il représente tout de même un résultat positif du Programme.

5.5 Occasions de collaboration

Des occasions manquées de faciliter l’échange de renseignements avec d’autres chercheurs et de mettre à profit les connaissances et les capacités actuelles réduisent l’efficacité du Programme.

L’évaluation a révélé que les responsables du Programme avaient manqué l’occasion de faciliter la participation et l’échange de renseignements entre les chercheurs des projets du PLGESA et entre ces derniers et les scientifiques d’AAC participant à des activités d’atténuation des GES. La collaboration entre chercheurs facilite l’échange de connaissances, de compétences et de techniques relatives à la recherche sur les GES en agriculture et l’atténuation de ces GES, échange qui est mutuellement bénéfique pour les chercheurs, et les responsables du Programme. Une meilleure collaboration améliore les probabilités de réussite et favorise la résolution des problèmes liés à la recherche.

Les données probantes d’évaluation obtenues dans le cadre des études de cas à long terme ont fait ressortir le fait que la première version du PLGESA comprenait une collaboration informelle entre les chercheurs scientifiques de la Direction générale des sciences et de la technologie d’AAC et les chercheurs financés au titre du PLGESA; cette collaboration était absente dans la deuxième version. L’évaluation a permis d’observer que, même si le Programme complète certaines initiatives menées à AAC, comme l’Initiative des laboratoires vivants, certains chercheurs scientifiques d’AAC ne savaient pas vraiment comment obtenir les résultats des projets du PLGESA, puisqu’ils ne pouvaient accéder à aucune information ou base de données. Cette situation pourrait empêcher l’inclusion de l’information et des techniques développées dans les projets de recherche actuellement menés à AAC et représente une occasion manquée de mettre à profit les capacités et les connaissances actuelles et d’améliorer les répercussions des résultats.

Une collaboration accrue entre les responsables du Programme et les chercheurs pourrait également favoriser le choix et l’élaboration de mesures du rendement qui saisissent le moment et les activités des projets de recherche. Les mesures du rendement représentent habituellement des événements qui ont lieu selon une séquence, des extrants aux résultats à long terme du Programme, en passant par ses résultats immédiats et intermédiaires. La production des résultats à long terme du Programme avant les extrants ou les résultats immédiats ou intermédiaires du Programme donne à penser que les résultats à long terme ne sont peut-être pas pleinement saisis par cette mesure.

La collaboration officielle entre projets du PLGESA n’est pas appuyée par le Programme. Dans la première version du  PLGESA, un atelier, animé par AAC et organisé par une université, a rassemblé des bénéficiaires de projet et donné la possibilité d’échanger des pratiques exemplaires et de transférer des connaissances entre projets. La facilitation de la collaboration entre projets du PLGESA devrait permettre aux bénéficiaires de mettre en commun les leçons tirées et les pratiques exemplaires afin de pouvoir faire face aux défis que présentent le Programme et la recherche.

Comme il fait partie des membres fondateurs de l’Alliance mondiale de recherche, le Canada a fait du PLGESA l’une des premières mesures nationales de lutte contre les GES en agriculture. L’évaluation a permis d’observer que les liens entre l’Alliance mondiale de recherche et le PLGESA étaient très limités, puisque les responsables de seulement cinq des vingt projets déclarent mener des activités liées à cette alliance. En conséquence, le PLGESA et le Canada ratent la possibilité d’exposer leur recherche et leurs réalisations, et les chercheurs des projets ne disposent pas d’une tribune internationale pour acquérir et promouvoir des connaissances.

6.0 Rendement

La présente section résume les conclusions de l’évaluation liées à la production des extrants et des résultats attendus du PLGESA et aux répercussions du Programme.

6.1 Extrants

Les responsables du Programme ont signé des ententes de contribution pour 20 projets de recherche et ont ainsi atteint la cible du Programme.

L’évaluation a révélé que le Programme avait réussi à financer son nombre cible de projets de recherche, qui englobe les quatre secteurs prioritaires, et que certains projets représentent plusieurs secteurs prioritaires. Le tableau 3 résume le nombre de projets de recherche qui luttent contre les émissions de GES dans les secteurs prioritaires. Ce nombre est établi en fonction de la qualité et de la portée des propositions de recherche reçues par les responsables du Programme.

Tableau 4 : Projets de recherche financés, par secteur prioritaire
Secteur prioritaire Nombre de projets de recherche
Projets liés à un seul secteur prioritaire : Systèmes d’élevage 2
Projets liés à un seul secteur prioritaire : Systèmes de culture 6
Projets liés à un seul secteur prioritaire : Efficacité de l’utilisation de l’eau en agriculture 3
Projets liés à un seul secteur prioritaire : Agroforesterie 5
Projets liés à plusieurs secteurs prioritaires : Systèmes d’élevage et systèmes de culture 2
Projets liés à plusieurs secteurs prioritaires : Efficacité de l’utilisation de l’eau en agriculture et systèmes de cultures 1
Projets liés à plusieurs secteurs prioritaires : Tous les secteurs prioritaires 1
Total 20
Source : Direction générale des programmes, 2019

Parmi les bénéficiaires, on comptait 17 établissements universitaires et trois organismes sans but lucratif. On a constaté que les projets de recherche des bénéficiaires étaient largement répartis dans l’ensemble du pays (Tableau 4). Les projets de recherche étaient concentrés dans les provinces où les émissions de GES en agriculture sont les plus importantes et où l’intensité de ces émissions est la plus forte au Canada (l’Alberta, l’Ontario, le Québec et la Saskatchewan) (Statistique Canada, 2017). La répartition des projets du PLGESA a réussi à englober les secteurs agricoles où la recherche sur les émissions de GES est le plus nécessaire.

Tableau 5 : Emplacement des bénéficiaires, par nombre de projets de recherche
Province Nombre de projets de recherche
Colombie-Britannique 2
Alberta 4
Saskatchewan 3
Manitoba 1
Ontario 4
Québec 3
Nouveau-Brunswick 1
Nouvelle-Écosse 1
Île-du-Prince-Édouard 1
Total 20
Source : Direction générale des programmes, 2019

L’évaluation a révélé que les projets commençaient à produire les résultats souhaités d’élaboration d’accords de collaboration. On a constaté que les bénéficiaires du Programme avaient établi neuf accords de collaboration et partenariats pour le perfectionnement et la communication de la recherche appliquée sur l’atténuation des GES. Un grand nombre sont toujours en cours, et 18 accords et partenariats devraient être établis d’ici la fin des projets. Les bénéficiaires ont souligné que certains problèmes s’étaient présentés au départ, au moment d’élaborer les accords de collaboration, comme le fait de trouver des employés et des lieux de recherche convenables, de même que des problèmes techniques imprévus (retards des fournisseurs et conditions météorologiques défavorables). Aucune cible de rendement du Programme n’avait été établie relativement à l’atteinte de cette mesure, mais, comme le Programme en est à sa deuxième version, il faudrait en fixer une pour cet indicateur.

6.2 Incidence

Les projets financés par le PLGESA sont en voie de produire les résultats immédiats et intermédiaires et ont déjà produit le résultat à long terme visé par l’indicateur du Programme.

Durant la période visée par l’évaluation, l’accessibilité des renseignements sur le rendement était limitée à un seul exercice et à un pourcentage limité des rapports de la deuxième année. Comme il s’agit de projets de recherche quinquennaux, les réalisations des deux premières années sont censées être moins importantes, car un grand nombre des mesures de rendement ne sont atteintes qu’à la fin du projet de recherche. À la lumière des réalisations des projets à ce jour, l’évolution donne à penser que toutes les cibles du Programme seront atteintes d’ici la fin de son cycle. Toutefois, les cibles qui sont atteintes ou qui le sont presque sont celles dont l’atteinte aurait été attendue à la fin des projets de recherche, ce qui donne à penser que les cibles et leurs indicateurs devraient être peaufinés de manière à mieux refléter le calendrier et les réalisations des projets de recherche.

L’évaluation a révélé que le Programme est en voie de produire ses résultats immédiats, soit l’élaboration, la vérification et la validation de nouvelles technologies d’atténuation des GES et pratiques de gestion bénéfiques pour le secteur, et qu’on formule des recommandations aux fins de domaines de recherche ultérieurs (Tableau 5). Au moment de l’évaluation, 10 des 65 pratiques de gestion bénéfiques qui sont prévues avaient été élaborées. L’indicateur des recommandations aux fins de recherches futures a pour but de saisir des recommandations uniquement si la pratique de gestion bénéfique ne peut pas être validée, auquel cas le chercheur doit formuler une recommandation aux fins d’études ultérieures dans ce domaine. Par conséquent, le Programme n’a pas fixé de cible relativement aux recommandations, et ces renseignements ne sont attendus que durant la dernière année du Programme.

Tableau 6 : Mesures du rendement du PLGESA
Cible Atteinte
(juillet 2019)
Pourcentage
de la cible
Nouvelles technologies et pratiques élaborées 60 10 17
Produits d’information élaborés 150 37 25
Technologies nouvellement mises au point et de pratiques éprouvées 50 20 40
Ateliers et de journées champêtres organisés 80 28 35
Publications à comité de lecture 140 42 30
Exposés professionnels 140 136 97
Agriculteurs qui ont participé à des ateliers ou à des journées champêtres 3 500 4 068 116

Parmi les résultats intermédiaires, on compte le fait de mettre les technologies d’atténuation des GES et les pratiques de gestion bénéfiques à la disposition des agriculteurs grâce au transfert et à l’échange de connaissances dans les milieux universitaires. Au moment de l’évaluation, les bénéficiaires avaient élaboré des produits d’information visant à montrer aux agriculteurs de nouvelles technologies et pratiques de gestion bénéfiques sous la forme de fiche de renseignements, de brochures et de vidéos, et ils avaient organiser des ateliers et des journées champêtres. Les bénéficiaires avaient également publié des articles dans des publications à comité de lecture et présenté des exposés dans le cadre de tribunes professionnelles.

L’évaluation a permis d’observer que le PLGESA donne effectivement la possibilité aux agriculteurs de recevoir des renseignements sur les nouvelles technologies et sur les pratiques de gestion bénéfiques. La majorité des projets de recherche du Programme font participer directement les agriculteurs à la recherche en aménageant des parcelles de recherche sur leurs terres et en leur donnant la possibilité de se forger leur propre opinion sur les avantages de la mise en œuvre de ces nouvelles pratiques et de ces nouveaux processus. L’Enquête financière sur les fermes (2017) a révélé que les trois plus importantes activités à mener pour un agriculteur qui envisage de faire l’essai de quelque chose de nouveau consistaient à se procurer de l’information auprès de consultants indépendants, à se fier à sa propre expérience et à participer à des associations de producteurs. Même si les agriculteurs ne considéraient pas la participation aux ateliers ou aux journées champêtres comme des activités importantes au moment de décider de faire l’essai de quelque chose de nouveau avec leur exploitation, ces activités donnent aux chercheurs la possibilité d’établir des liens avec les agriculteurs et les associations de producteurs.

L’évaluation a révélé que les projets du PLGESA réussissent à produire le résultat de programme à long terme choisi qu’est l’amélioration des connaissances des agriculteurs dans les domaines de l’atténuation de GES, des pratiques de gestion bénéfiques et des technologies. Les renseignements recueillis dans le cadre des projets de recherche du PLGESA fournissent aux agriculteurs les connaissances nécessaires au sujet des avantages, des coûts et des compromis associés à l’adoption des pratiques de gestion bénéfiques. Les facteurs ayant un impact sur les décisions des agriculteurs pour essayer de nouvelles choses sont les suivants : l’ efficience améliorée de la sécurité de leur exploitation, le temps nécessaire à la mise en œuvre du changement, et l’augmentation de la valeur du produit (Enquête financière sur les fermes, 2017).

Les renseignements sur le rendement indiquaient que les agriculteurs qui avaient participé à des journées champêtres ou à des ateliers de démonstration de technologies d’atténuation des GES et de pratiques de gestion bénéfiques avaient déjà surpassé de 3 500 la cible du Programme. Néanmoins, aucun élément de preuve direct obtenu dans le cadre de l’évaluation ne montrait que l’ensemble des agriculteurs qui avaient été exposés à des renseignements sur les projets du PLGESA comprenaient les renseignements qu’ils recevaient ou y réagissaient. Cet indicateur ne saisit pas la qualité du transfert des connaissances ni l’utilité des connaissances pour l’agriculteur participant. La capacité des bénéficiaires d’atteindre l’indicateur de résultat à long terme aussi tôt donne à penser que la cible était trop peu élevée ou qu’une autre mesure pourrait être nécessaire.

Grâce à l’examen d’études de cas à long terme, l’évaluation a révélé que les bénéficiaires qui avaient participé à la première et à la deuxième versions du PLGESA commençaient à réussir à sensibiliser les agriculteurs afin d’accroître leur compréhension des projets. Les données probantes concernant l’adoption de pratiques de gestion bénéfiques issues du PLGESA chez les exploitants agricoles étaient limitées. D’autres bénéficiaires ayant participé à l’étude de cas à long terme ont mentionné des cas anecdotiques d’agriculteurs qui avaient adopté de façon précoce ces pratiques de gestion bénéfiques, ou bien qui avaient manifesté de l’intérêt pour apprendre comment adopter les pratiques élaborées, ainsi que pour la recherche effectuée par des associations de l’industrie. L’intérêt de producteurs et de groupes de l’industrie pour ces projets et leur participation à ceux‑ci pourraient encourager l’adoption des pratiques de gestion bénéfiques élaborées.

L’adoption des pratiques de gestion bénéfiques élaborées dans le cadre de projets du PLGESA pourrait prendre beaucoup de temps (de six à vingt-deux ans après leur instauration) (Kuehne et coll., Predicting farmer uptake of new agricultural practices: A tool for research, extension and policy, 2017). Par conséquent, l’adoption par les agriculteurs de pratiques de gestion bénéfiques élaborées dans le cadre du PLGESA devrait se produire bien après la conclusion des projets.

Voir l’annexe C pour obtenir un profil détaillé de l’information sur le rendement.

7.0 ACS+

Conformément à la Directive sur les résultats du Conseil du Trésor, l’évaluation a examiné dans quelle mesure l’analyse comparative entre les sexes plus a été prise en compte. Cette analyse comparative est un outil, processus ou produit d’analyse servant à évaluer les conséquences possibles des politiques, des programmes, des services et d’autres initiatives sur divers groupes, en tenant compte de facteurs identitaires, dont le sexe, l’âge, l’orientation sexuelle, l’invalidité, la race, l’origine ethnique, la religion, la scolarité, la langue, la situation géographique, la culture et le revenu. L’évaluation a fait ressortir le fait que les facteurs de la diversité et de l’inclusion n’ont pas encore été officiellement mis en œuvre dans le cadre du PLGESA.

8.0. Conclusions et Recommendations

Pertinence

Les conclusions de l’évaluation confirment l’existence d’un besoin continu que le gouvernement fédéral appuie les projets de recherche menés au titre du PLGESA afin d’élaborer des pratiques de gestion bénéfiques visant à réduire les émissions de GES en agriculture. Les résultats de ces projets peuvent fournir aux agriculteurs canadiens les renseignements dont ils ont besoin pour prendre des décisions éclairées au sujet de l’adoption de telles pratiques.

Les objectifs du Programme correspondent aux priorités gouvernementales et aux résultats stratégiques ministériels d’AAC, et ils cadrent avec les rôles et responsabilités du gouvernement fédéral. Les recherches menées par les bénéficiaires du PLGESA appuient la mission et les directives sur les résultats du Ministère. La recherche donne suite aux engagements du gouvernement fédéral à l’égard de divers accords nationaux et internationaux liés aux changements climatiques et à l’atténuation des GES.

Conception et exécution

Les données probantes obtenues dans le cadre de l’évaluation ont révélé que les modifications apportées aux politiques et aux processus depuis la première version du PLGESA et dans le cadre de la version actuelle, auxquelles s’ajoutent les lacunes au chapitre des communications, ont contribué à la confusion et aux problèmes vécus par les bénéficiaires du Programme. L’évaluation a permis de conclure que le temps d’administration nécessaire aux chercheurs principaux pour surmonter les difficultés liées aux demandes de remboursement ont eu pour conséquence que moins d’heures ont été consacrées aux activités de projet liées à la recherche. Les problèmes associés au budget et aux dépenses ont eu une incidence négative sur l’intérêt des bénéficiaires à participer de nouveau à ce genre de programme. Ces difficultés, ainsi que l’incompatibilité entre les systèmes de financement universitaire, ont été mis en évidence par les problèmes administratifs liés aux demandes de remboursement déclarés par les bénéficiaires et par les employés d’AAC.

L’harmonisation des demandes de remboursement au titre du Programme avec les pratiques normales du Ministère a augmenté l’économie et l’efficience internes. Toutefois, l’évaluation a révélé que plusieurs bénéficiaires (60 % des répondants) avaient éprouvé des problèmes avec le nouveau système de demandes de remboursement. Les modifications apportées aux politiques, le manque de communication et les écarts entre les documents d’orientation ont contribué au fardeau financier et à la confusion des bénéficiaires. Cette situation a entraîné le rejet de demandes de remboursement, des incohérences sur le plan de l’admissibilité des demandes de remboursement et un accroissement du fardeau financier et administratif pour les bénéficiaires. Ces problèmes, ainsi que le manque de souplesse comparativement à d’autres programmes de financement scientifiques, ont entraîné une perte pour les chercheurs du point de vue du temps consacré aux activités scientifiques.

Habituellement, le financement de la recherche est obtenu grâce à des programmes de subvention.

L’évaluation a permis d’établir les résultats qui sont obtenus et qui ne sont pas pris en compte par les mesures du rendement, de même que les occasions de collaboration qui permettraient au Programme de mettre à profit les connaissances et les capacités. Les responsables du Programme ont la possibilité d’améliorer la collecte de renseignements sur le rendement afin de mieux saisir certains des résultats et des avantages imprévus du Programme et de faciliter un plus vaste échange de renseignements avec d’autres chercheurs, en mettant à profit les connaissances, les compétences et les techniques actuelles. Faciliter la collaboration entre bénéficiaires pourrait favoriser la communication de pratiques exemplaires et de méthodes permettant de surmonter les difficultés. Une collaboration externe accrue pourrait également aider à choisir des résultats, des indicateurs et des cibles de rendement qui refléteraient mieux les réalisations et le moment choisi pour la recherche. Certains mécanismes pourraient comprendre l’échange de renseignements, comme la tenue d’une conférence des bénéficiaires du PLGESA et des organisations de producteurs, l’offre d’un financement destiné aux scientifiques d’AAC participant à des projets, et la mise à jour du site Web du Ministère afin de montrer les résultats des projets menés au titre du PLGESA.

Rendement

Les 20 projets financés au titre du PLGESA n’en sont qu’à la deuxième année de leur financement quinquennal, mais ils ont déjà produit, ou sont en voie de produire, leurs extrants et résultats prévus, ce qui donne à penser que ces mesures et/ou cibles ne sont pas appropriées. Près de 4 000 agriculteurs ont participé à des journées champêtres et à des ateliers organisés par les bénéficiaires du Programme et ainsi surpassé la cible de l’indicateur à long terme (3 500). Cet indicateur à long terme a déjà été atteint, avant un grand nombre des indicateurs immédiats et intermédiaires. Cette situation donne à penser que l’indicateur à long terme n’est pas une cible, ou une mesure, adaptée au résultat de programme à long terme.

Même si ce résultat a été atteint, la qualité des interactions et l’amélioration de la compréhension des agriculteurs concernant les pratiques de gestion bénéfiques demeurent largement inconnues. Les études de cas ont fourni certaines données probantes, selon lesquelles les agriculteurs amélioraient leurs connaissances dans les domaines de l’atténuation des GES, des pratiques de gestion bénéfiques et des technologies grâce à leur participation aux journées champêtres ou aux ateliers du PLGESA.

Recommandations

Recommandation 1

Le sous-ministre adjoint, Direction générale des programmes, devrait revoir des aspects de la conception et de l’exécution du Programme pour en assurer l’efficience et l’efficacité administratives pour AAC et pour les bénéficiaires.

Recommandation 2

Le sous-ministre adjoint, Direction générale des programmes, devrait revoir et réviser le modèle logique et les mesures du rendement du PLGESA afin de mieux saisir les activités menées dans le cadre des projets financés et les répercussions de ceux ci.

Recommandation 3

Le sous-ministre adjoint, Direction générale des programmes, devrait faciliter des occasions de permettre l’échange de connaissances et la communication des résultats du Programme.

9.0 Réponse de la direction et plan d’action

Recommandation Réponse de la direction et plan d’action (RDPA) Date cible1 Responsables
1. Le sous-ministre adjoint, Direction générale des programmes, devrait revoir des aspects de la conception et de l’exécution du Programme pour en assurer l’efficience et l’efficacité administratives pour AAC et pour les bénéficiaires. Recommandation acceptée. Le personnel de la Direction des programmes d’innovation examinera et passera en revue les problèmes liés aux demandes de remboursement des bénéficiaires recensés dans le cadre de l’évaluation et décidera si la modification de la conception ou de l’exécution du Programme pourrait réduire le nombre de problèmes semblables dans l’avenir. Il examinera et consignera aussi la façon dont les modifications apportées au processus de demande de remboursement, vers la fin de la période d’évaluation, ont déjà contribué aux incohérences dans le processus et amélioré la conformité avec la Politique sur les paiements de transfert. Juin 2020 Directeur général, Direction des programmes d’innovation
De plus, si un programme semblable est lancé à la suite de la version 2 du PLGESA, la Direction des programmes d’innovation décidera si le type de bénéficiaire du programme actuel est approprié, compte tenu des incompatibilités entre les attentes en matière de financement de la recherche et les exigences de programmes de subvention et de contribution gouvernementaux. Durant l’étape de l’élaboration du Programme, on envisagera la possibilité de modifier les conditions d’admissibilité. Avril 2021 Directeur général, Direction des programmes d’innovation
Avant le lancement d’un nouveau programme, en 2021, le personnel du Programme s’assurera que le Guide du demandeur et le Guide des bénéficiaires sont uniformes et accessibles avant la signature des ententes de contribution. Avril 2021 Directeur général, Direction des programmes d’innovation
2. Le sous-ministre adjoint, Direction générale des programmes, devrait revoir et réviser le modèle logique et les mesures du rendement du PLGESA afin qu’ils saisissent mieux les activités et les répercussions des projets financés. Recommandation acceptée. La Direction des programmes d’innovation travaillera en collaboration avec les représentants de la Direction générale de la gestion intégrée et du Bureau de la vérification et de l’évaluation afin d’examiner le modèle logique et de déterminer comment saisir les activités et les répercussions des projets financés, en s’assurant que le nombre de ressources requises pour recueillir les données à déclarer par rapport aux indicateurs choisis correspondra aux niveaux de dépenses des projets. Avril 2021 Directeur général, Direction des programmes d’innovation
Plusieurs modifications ont déjà été apportées au modèle de rapport final sur le rendement pour le PLGESA, dans le but de saisir les répercussions des projets menés au titre de cette version du Programme. Ces modifications comprennent l’ajout de questions visant à saisir les répercussions des discussions sur les politiques et l’adoption de pratiques de gestion bénéfiques et de technologies. Le profil de l’information sur le rendement du Programme sera révisé afin qu’il tienne compte de ces changements. Avril 2021 Directeur général, Direction des programmes d’innovation
La Direction des programmes d’innovation est également déterminée à poursuivre l’étude des problèmes liés à la mesure des répercussions des programmes de recherche et de développement, en tant que problèmes reconnus dans l’ensemble des ministères scientifiques fédéraux, et à établir des pratiques exemplaires en matière de mesure des répercussions pour le PLGESA et le reste de sa série de programmes. Avril 2021 Directeur général, Direction des programmes d’innovation
3. Le sous-ministre adjoint, Direction générale des programmes, devrait faciliter des occasions d’échange de connaissances et de communication des résultats du Programme. Recommandation acceptée. La Direction des programmes d’innovation tiendra des consultations auprès des bénéficiaires et au sein du Ministère, y compris la Direction générale des affaires publiques, afin de déterminer le moyen le plus approprié de communiquer les résultats des projets du PLGESA. Avril 2021 Directeur général, Direction des programmes d’innovation
La Direction est déterminée à dresser une liste des pratiques de gestion bénéfiques et de technologies élaborées dans le cadre du PLGESA à des fins de communication interne et externe, à l’aide des plateformes disponibles. Avril 2021 Directeur général, Direction des programmes d’innovation
Par ailleurs, la Direction reconnaît que l’un des plus grands défis posés par ce programme consiste à s’assurer que les pratiques de gestion bénéfiques élaborées dans le cadre du PLGESA sont communiquées aux producteurs qui sont susceptibles d’adopter ces pratiques. La Direction continuera d’étudier des moyens de mieux communiquer les résultats du Programme auprès des personnes qui pourraient les adopter. Avril 2021 Directeur général, Direction des programmes d’innovation
1. Lorsque l’échéance des mesures de suivi est fixée à une date éloignée, la direction doit en indiquer la raison dans sa réponse.

Annexe A : méthode d’évaluation

Examen de la documentation

Afin d’évaluer la pertinence, on a examiné des documents stratégiques et de la littérature portant sur les émissions de GES en agriculture et sur les pratiques de gestion bénéfiques. Les programmes provinciaux et fédéraux qui financent des initiatives agricoles qui favorisent l’atténuation des changements climatiques ainsi que l’élaboration ou l’adoption de pratiques de gestion bénéfiques ont fait l’objet d’un examen. On a passé en revue des sondages menés par le secteur privé et par le gouvernement afin d’établir des indicateurs qui pourraient permettre de suivre l’adoption des pratiques de gestion bénéfiques.

Examen des dossiers et des bases de données du Programme

Afin d’évaluer les répercussions et les extrants du Programme, on a procédé à un examen des dossiers du Programme, et plus particulièrement des rapports sur le rendement présentés par des bénéficiaires. Les données sur les bénéficiaires et les demandeurs recueillies dans le cadre du Programme ont également été utilisées pour l’évaluation.

Entrevues avec des informateurs clés

Pour évaluer la pertinence, l’efficience et l’efficacité du Programme, des entrevues ont été menées pour déterminer si le Programme était toujours nécessaire et pour évaluer ses progrès par rapport aux résultats attendus ainsi que les facteurs internes et externes qui ont facilité ou entravé les progrès et les gains en efficience qu’il a permis de réaliser. Les entrevues auprès des informateurs clés ont servi à appuyer les données probantes obtenues auprès d’autres sources.

Des entrevues ont eu lieu avec 15 membres du personnel d’AAC (responsables de programme, hauts gestionnaires et représentants de la Direction générale des sciences et de la technologie) et 16 bénéficiaires de projet, y compris des chercheurs et des responsables des finances.

Études de cas

Afin d’évaluer le rendement et l’efficacité, on a mené sept études de cas sur des projets des versions précédente et actuelle du PLGESA. Quatre études cas ont évalué l’atteinte de résultats à long terme grâce à des projets financés durant la première version du PLGESA, et dont le financement s’est poursuivi durant la deuxième version du Programme. Trois études de cas supplémentaires ont été sélectionnées parmi les projets menés au titre de la version actuelle du PLGESA. Elles comprenaient une analyse approfondie des dossiers du programme, des entrevues auprès des bénéficiaires de projet et des intervenants, et un examen bibliométrique (une analyse quantitative de la littérature universitaire fondée sur différents paramètres, comme les taux de citations) des revues professionnelles et de citations. La cartographie du réseau a servi à démontrer les liens entre les chercheurs, le gouvernement et d’autres intervenants du milieu de la recherche agroenvironnementale.

Limites de la méthodologie

Certaines limites liées à la méthode ont été prises en considération dans l’interprétation des données.

Tableau 7 Limites de la méthodologie
Limite Stratégie d’atténuation Incidence sur l’évaluation
Nature à long terme du Programme De nombreuses années peuvent s’écouler avant que les projets financés au titre du PLGESA génèrent les résultats intermédiaires et à long terme escomptés, ce qui pourrait limiter la capacité d’évaluer les répercussions du Programme. Six études de cas ont été menées sur des projets réalisés au titre de la version 1 du PLGESA et qui se sont poursuivis dans le cadre de la version 2. Certaines des répercussions longitudinales du PLGESA ont été évaluées.
Changements d’indicateurs de rendement d’une version à l’autre du Programme Les changements d’indicateurs pourraient limiter la capacité d’évaluer les améliorations obtenues dans le cadre de la deuxième version du PLGESA. Des entrevues ont été menées auprès de membres du personnel et de bénéficiaires du Programme. Des données empiriques ont été recueillies concernant les gains en efficacité et en efficience réalisés, et certaines des répercussions des changements apportés au Programme ont été évaluées.

Bibliothèque canadienne de l’agriculture

Le Bureau de la vérification et de l’évaluation tient à remercier la Bibliothèque canadienne de l’agriculture de sa contribution aux travaux d’évaluation. Le personnel de la bibliothèque a effectué une recherche documentaire afin d’obtenir des documents pertinents pour aider l’équipe d’évaluation à évaluer la pertinence et le rendement du Programme.

Annexe B : Modèle Logique

Le modèle logique du PLGESA décrit les activités et les extrants clés du Programme et la séquence des résultats à court, moyen et long termes.

Modèle logique du Programme de lutte contre les gaz à effet de serre en agriculture
Résultat à long term 1. Les connaissances des agriculteurs dans les domaines de l’atténuation des GES, des pratiques de gestion bénéfiques et des technologies sont améliorées.
Résultats intermédiaires
  • 1. Les agriculteurs ont accès à des technologies d’atténuation des GES et à des pratiques de gestion bénéfiques (transfert des connaissances).
  • 2. Les connaissances sont communiquées dans les milieux universitaires.
Résultats immédiats
  • 1. De nouvelles technologies d’atténuation des GES et pratiques de gestion bénéfiques destinées au secteur sont élaborées, vérifiées et validées par les bénéficiaires du Programme.
  • 2. Des domaines sont recensés aux fins d’autres recherches ayant trait aux technologies d’atténuation des GES et aux pratiques de gestion bénéfiques.
Extrants Bénéficiaire
  • 1. Accords de collaboration et partenariats pour l’élaboration et la communication de la recherche appliquée sur l’atténuation des GES.
  • 2a. Les bénéficiaires du Programme augmentent la base de connaissances scientifiques.
  • 2b. Les connaissances sont communiquées dans les milieux universitaires.
  • 3. Des produits d’information à communiquer aux agriculteurs par transfert de technologie sont élaborés.
Gestion du Programme par AAC
1. Ententes de contribution approuvées et réalisées.
Activités Bénéficiaire
  • 1. Amélioration des partenariats de recherche, du réseautage et de l’échange de renseignements (au pays et à l’étranger) afin de faciliter et de coordonner la recherche et l’exécution des pratiques de gestion bénéfiques.
  • 2. Recherches portant sur l’atténuation des gaz à effet de serre produits par l’agriculture.
  • 3. Transfert de nouvelles technologies et de pratiques de gestion bénéfiques sur l’atténuation des GES.
Gestion du Programme par AAC
  • 1. Recevoir, analyser, approuver et traiter les demandes de paiements de contribution qui appuient le PLGESA.
  • 2. Verser des paiements de contribution, surveiller les projets et traiter les demandes de remboursement. Recevoir et analyser les rapports sur le rendement présentés par les bénéficiaires.
Contribution 1. 26 910 000 $ sur cinq ans (du 1er avril 2016 au 31 mars 2021).
Source: Données administratives du PLGESA, Direction générale des programmes, 2019

Annexe C: Profil de l’information sur le rendement

Profil de l’information sur le rendement - Extrants
Extrant/résultat Indicateur Cibles du Programme Cible prévu Atteinte en 2017-2018 Atteinte en 2018-2019 Total des cibles atteintes Pourcentage des cibles atteintes
Accords de collaboration et partenariats pour l’élaboration et la communication de la recherche appliquée sur l’atténuation des GES. Nombre de PE et/ou d’accords de collaboration signés avec l’industrie agricole et avec les gouvernements et les organismes provinciaux Aucune cible 18 9 4 13 -
Approbation et réalisation des ententes de contribution. Nombre de projets approuvés par programme 20 20 20 - 20 100
Source : Direction générale des programmes, juillet 2019.
Profil de l’information sur le rendement - résultats immédiats
Extrant/résultat Indicateur Cibles du Programme Cible prévu Atteinte en 2017-2018 Atteinte en 2018-2019 Total des cibles atteintes Pourcentage des cibles atteintes
De nouvelles technologies d’atténuation des GES et pratiques de gestion bénéfiques destinées au secteur sont élaborées, vérifiées et validées par les bénéficiaires du Programme. Nombre de nouvelles technologies et pratiques de gestion bénéfiques accessibles à des fins d’adoption qui sont élaborées, vérifiées et validées 60 65 9 1 10 17
Des domaines sont identifiés pour d’autres recherches sur les technologies d’atténuation des GES et les pratiques de gestion bénéfiques. Nombre de recommandations formulées à des fins de recherche ultérieure Aucune cible 4 0 0 0 -
Source : Direction générale des programmes, juillet 2019.
Profil de l’information sur le rendement – résultats intermédiaires
Extrant/résultat Indicateur Cibles du Programme Cible prévu Atteinte en 2017-2018 Atteinte en 2018-2019 Total des cibles atteintes Pourcentage des cibles atteintes
Les agriculteurs ont accès à des technologies d’atténuation des GES et à des pratiques de gestion bénéfiques (transfert des connaissances). Nombre de produits d’information, par exemple, feuillets d’information et brochures, élaborés. 150 154 25 12 37 25
Les agriculteurs ont accès à des technologies d’atténuation des GES et à des pratiques de gestion bénéfiques (transfert des connaissances). Nombre de technologies et de pratiques de gestion bénéfiques nouvellement élaborées et démontrées dans le cadre d’ateliers et de journées champêtres. 50 67 20 0 20 40
Les agriculteurs ont accès à des technologies d’atténuation des GES et à des pratiques de gestion bénéfiques (transfert des connaissances). Nombre d’ateliers et de journées champêtres organisés par projet dans le but de montrer les nouvelles technologies et pratiques de gestion bénéfiques 80 76 21 7 28 35
Les connaissances sont communiquées dans les milieux universitaires. Nombre d’articles publiés dans des revues avec comité de lecture 140 139 31 11 42 30
Les connaissances sont communiquées dans les milieux universitaires. Nombre d’exposés portant sur le GES présentés dans le cadre de tribunes professionnelles 140 141 86 50 136 97
Source : Direction générale des programmes, juillet 2019.
Profil de l’information sur le rendement - résultat à long terme
Extrant/résultat Indicateur Cibles du Programme Cible prévu Atteinte en 2017-2018 Atteinte en 2018-2019 Total des cibles atteintes Pourcentage des cibles atteintes
Les connaissances des agriculteurs dans les domaines de l’atténuation des GES, des pratiques de gestion bénéfiques et des technologies sont améliorées. Nombre d’agriculteurs qui ont participé à des journées champêtres ou à des ateliers où des pratiques de gestion bénéfiques et des technologies permettant d’atténuer les GES ont été démontrées 3 500 5 058 3 558 510 4 068 116
Source : Direction générale des programmes, juillet 2019.
Signaler un problème sur cette page
Veuillez cocher toutes les réponses pertinentes :
Date de modification :