Évaluation du Programme d'éducation de base des adultes du Nord (PEBAN) de 2015-2016 à 2019-2020 (Rapport de juillet 2021)

Introduction

Le Programme d'éducation de base des adultes du Nord (PEBAN) est un programme d'aide à l'éducation établi en 2011-2012, conçu pour aider les résidents du Nord à accéder à une formation ciblée qui leur permettra de participer plus activement au marché du travail. Son objectif consiste à élargir les programmes sur les compétences essentielles en milieu de travail offerts par les établissements postsecondaires des territoires, surtout dans les collectivités éloignées, et à améliorer l'accès à l'éducation de base des adultes.^{Note de bas de page 1} Le programme est offert par l'entremise des trois collèges territoriaux du Nord du Canada : le Collège Aurora, le Collège du Yukon (maintenant l'Université du Yukon) et le Collège de l'Arctique du Nunavut (CAN).

La présente évaluation visait à examiner la pertinence du PEBAN par rapport aux priorités et aux objectifs du gouvernement fédéral, l'atteinte des résultats escomptés du programme à court, à moyen et à long terme, ainsi que la rentabilité et l'efficience du PEBAN, et à formuler des recommandations pour l'élaboration de futurs programmes. L'évaluation portait sur les cinq années qui se sont écoulées depuis la dernière évaluation du PEBAN, soit la période s'échelonnant de 2015-2016 à 2019-2020.

Méthodes et limites

L'évaluation reposait sur trois sources de données, comme l'indique le plan d'évaluation : un examen de documents, des entrevues et une étude de cas. Pour les entrevues, l'équipe d'évaluation a mené 28 entrevues auprès d'intervenants du programme. Quant à l'examen de documents, 66 documents ont été soumis ou désignés par les évaluateurs comme étant à examiner. Enfin, en ce qui concerne l'étude de cas, l'équipe d'évaluation s'est concentrée sur l'élaboration des programmes d'études.

Trois risques susceptibles d'influer sur l'évaluation ont été cernés : 1) le délai limité (cinq semaines) imparti pour la collecte de données; 2) la cohérence des données; et 3) les entrevues auprès des Autochtones vivant dans les régions éloignées. Tous ces risques se sont concrétisés, et les stratégies employées pour les atténuer ont connu un succès mitigé. En outre, un quatrième risque s'est présenté : l'état de préparation global de CanNor à l'égard de l'évaluation.

Conclusions et recommandations

En ce qui concerne la pertinence, il a été conclu à l'issue de l'évaluation qu'il existe un besoin soutenu et permanent de services d'éducation de base des adultes (EBA) dans le Nord et que le PEBAN y répond. Bien que le perfectionnement des compétences puisse constituer un élément de l'EBA, il ne devrait pas remplacer l'EBA, laquelle se situe au cœur des besoins et du PEBAN. L'amélioration de la littératie devrait être le principal résultat du programme. En raison des différences entre les trois territoires et de l'évolution des conditions socioéconomiques dans chaque territoire, il faut faire preuve de souplesse dans la conception et l'exécution du programme.

Le programme est pertinent pour le gouvernement fédéral et CanNor, mais il n'est pas optimal. À long terme, le gouvernement fédéral pourrait aider les gouvernements territoriaux à prendre la responsabilité des futurs services d'EBA. Cela dit, faute d'un tel mécanisme et eu égard aux précédents, il revient à CanNor de combler le vide le mieux possible.

En ce qui a trait à l'efficacité, le PEBAN est exécuté dans un contexte opérationnel complexe dans les trois territoires. Chaque territoire présente des difficultés qui lui sont propres, mais a un même public cible qui est éloigné, souvent vulnérable et aux prises avec des facteurs qui minent sa capacité d'accéder aux possibilités d'apprentissage et de les mener à bonne fin. Il faut du financement stable, une surveillance et une évaluation actives et efficaces aux fins d'amélioration continue, et de la souplesse pour s'adapter à l'évolution du contexte.

L'évaluation montre que des progrès ont été réalisés pour chacun des résultats escomptés. Les partenaires de mise en œuvre sont des établissements d'enseignement chevronnés qui possèdent l'expertise nécessaire pour exécuter le programme. Cela dit, la gestion du programme varie d'un établissement à l'autre, et il serait possible d'assurer une meilleure mise en commun des expériences et des pratiques exemplaires de gestion du programme. Parmi les points à améliorer qui ont été relevés, mentionnons le caractère opportun des décisions de financement, l'échange des pratiques exemplaires, l'amélioration du programme dans son ensemble, ainsi que la collecte et l'analyse des données aux fins de la prise de décisions. Le contexte opérationnel complexe exige un cadre des résultats limpide, harmonisé avec la portée du programme, qui ne dépasse pas la mesure quant aux résultats attendus d'un programme d'EBA.

En ce qui concerne l'efficience, le programme a dépensé ses fonds conformément aux budgets (écart de -6 % dans l'ensemble), bien qu'une sous-utilisation importante des fonds ait été observée dans le cas du CAN pour deux des cinq années à l'étude. Du côté de CanNor, le programme a été exécuté à faible coût, mais la surveillance et la reddition de comptes étaient limitées, ce qui peut se répercuter sur la prestation des services et l'atteinte des résultats escomptés pour les partenaires de mise en œuvre. Le calendrier et la durée des ententes de financement pourraient mieux concorder avec les réalités opérationnelles de la prestation des services d'EBA dans le Nord.

Au chapitre des pratiques exemplaires, les partenaires de mise en œuvre déterminent les leçons apprises et les pratiques exemplaires et les appliquent pour favoriser l'amélioration continue du programme, mais ce processus est toutefois interrompu par moments en raison du financement incertain. En outre, la prudence est de mise en ce qui concerne le passage à l'apprentissage en ligne, puisque certaines données montrent que les taux d'achèvement de ces cours sont inférieurs à ceux des cours communautaires donnés en personne. Il se peut donc que l'application générale de l'apprentissage en ligne dans l'ensemble des territoires ne soit pas appropriée.

1.1 Contexte

Créée en 2009, l'Agence canadienne de développement économique du Nord (CanNor) est l'une des six agences de développement régional (ADR) du Canada sous la direction du ministre du Développement économique et des Langues officielles, appuyé par Innovation, Sciences et Développement économique Canada (ISDE).

Le Programme d'éducation de base des adultes du Nord (PEBAN) est un programme d'aide à l'éducation établi en 2011-2012, conçu pour aider les résidents du Nord à accéder à une formation ciblée qui les aidera à participer plus activement au marché du travail. Le programme est offert par l'entremise des trois collèges territoriaux du Nord du Canada : le Collège Aurora, le Collège du Yukon (maintenant l'Université du Yukon) et le Collège de l'Arctique du Nunavut.

L'objectif du PEBAN consiste à élargir les programmes sur les compétences essentielles en milieu de travail offerts par les établissements postsecondaires des territoires, surtout dans les collectivités éloignées, et à améliorer l'accès à l'éducation de base des adultes.^{Note de bas de page 3}

1.2 Objet et portée

La présente évaluation a été menée en vue d'honorer l'engagement pris dans la dernière présentation au Conseil du Trésor (2020) sur le renouvellement du financement du PEBAN, à savoir effectuer une analyse de cette initiative en 2020-2021; examiner et analyser le rendement du PEBAN et les possibilités de collaboration avec des partenaires du Nord; et éclairer les décisions sur l'avenir de l'éducation de base des adultes dans les territoires. La dernière évaluation du PEBAN remonte à 2016.

Plus précisément, l'évaluation visait à examiner ce qui suit :

• La pertinence du PEBAN par rapport aux priorités et aux objectifs du gouvernement fédéral;
• L'atteinte des résultats escomptés à court, à moyen et à long terme;
• La rentabilité et l'efficience du PEBAN;
• Les recommandations pour l'élaboration de futurs programmes.

L'évaluation portait sur les cinq années qui se sont écoulées depuis la dernière évaluation du PEBAN, soit la période s'échelonnant de 2015-2016 à 2019-2020. L'évaluation est fondée sur les questions suivantes (pour consulter la grille d'évaluation dans son intégralité, voir l'annexe A) :

2.1 Description du programme

Le Programme d'éducation de base des adultes du Nord (PEBAN) a été établi en vue d'honorer un engagement prévu dans le budget de 2011, à savoir d'élargir les programmes de littératie et de numératie dans les collèges des territoires, surtout dans les collectivités éloignées, pour cibler les résidents du Nord en âge de travailler et les aider à acquérir les compétences de base dont ils ont besoin pour intégrer le marché du travail et tirer profit des possibilités économiques émergentes.

Le PEBAN appuie le perfectionnement des compétences et l'innovation en aidant les résidents du Nord à s'adapter à la nature changeante du travail et en favorisant une culture d'apprentissage permanent. Le programme offre des possibilités d'éducation aux collectivités éloignées des territoires, particulièrement au Nunavut. Ses partenaires de mise en œuvre, soit le Collège Aurora, l'Université du Yukon et le Collège de l'Arctique du Nunavut, consultent les collectivités afin de jauger la demande, de manière à soutenir le cheminement des étudiants sans que ceux-ci aient à déménager. Le programme est adapté aux besoins de chaque territoire et, habituellement, les collectivités éloignées jouissent d'un soutien accru lorsqu'on fait appel à des membres qualifiés de la communauté et à des Aînés pour enseigner la matière des cours. Quant aux différences entre les régions, en général, la souplesse des programmes d'acquisition de compétences est assurée par le recours à des partenariats avec des industries primaires, ce qui facilite l'apprentissage coopératif, et par l'intégration de la langue et du savoir autochtones pour améliorer la prestation. Qui plus est, les cours en ligne ont été conçus de manière à pouvoir être offerts dans les régions où la connectivité et la bande passante sont limitées.

Les activités admissibles du PEBAN favorisent l'accessibilité de l'éducation de base des adultes dans le Nord et font l'objet d'une surveillance, laquelle permet d'évaluer la parité entre les sexes dans les cours offerts et les inscriptions. Ces activités appuient également l'élaboration de matériel pédagogique adapté à la culture, notamment en conformité avec l'article 23.5.2 de l'Accord du Nunavut.

2.2 Cadre des résultats du programme

L'objectif du PEBAN consiste à élargir les programmes sur les compétences essentielles en milieu de travail offerts par les établissements postsecondaires des territoires, surtout dans les collectivités éloignées.

Les résultats et activités définis dans l'énoncé de travail sont exposés ci-dessous et représentés dans un modèle logique à l'annexe B :

• Résultat à long terme : Amélioration de l'emploi, de la formation professionnelle, de la formation postsecondaire (pas en milieu de travail) et de l'employabilité ou de la formation professionnelle chez les résidents du Nord en âge de travailler.
• Résultat intermédiaire : Maintien de l'utilisation des services et augmentation du taux d'achèvement par la cohorte d'adultes ciblée.
• Résultat immédiat : Augmentation de la disponibilité des services d'éducation de base des adultes.

Les activités du PEBAN sont réalisées par les partenaires de mise en œuvre – le Collège de l'Arctique au Nunavut, le Collège Aurora dans les Territoires du Nord-Ouest et l'Université du Yukon. De plus, le financement prévoit le recours à un équivalent temps plein (ETP) aux fins de la surveillance du programme par CanNor.

2.3 Partenaires et intervenants

Les principaux intervenants sont classés comme suit :

2.4 Renseignements financiers

Le budget financier et les renseignements sur les dépenses sont présentés à la section 6.1.

3.1 Méthode

L'évaluation reposait sur trois sources de données, comme l'indique le plan d'évaluation : un examen de documents, des entrevues et une étude de cas.

Pour les entrevues, l'équipe d'évaluation avait prévu d'en mener de 30 à 44 auprès d'intervenants du programme, mais elle en a finalement réalisé 28, classées ci-dessous, les chiffres réels datant du 6 avril 2021 :

Une autre ventilation des groupes de répondants figure à l'annexe C : Liste des répondants.

Quant à l'examen de documents, 66 documents ont été soumis ou désignés par les évaluateurs comme étant à examiner. Une ventilation détaillée des documents d'évaluation se trouve à l'annexe D : Liste maîtresse des documents.

En ce qui concerne l'étude de cas, le plan d'évaluation prévoyait que le processus serait axé sur l'élaboration des programmes d'études. L'équipe d'évaluation s'attendait à mener deux ou trois entrevues par territoire, auxquelles viendrait s'ajouter un examen de documents. Au total, sept entrevues ont été réalisées.

3.2 Limites

La section 3.4 du plan d'évaluation (daté du 11 février 2021) faisait état de trois risques susceptibles d'influer sur l'évaluation : 1) le délai limité (cinq semaines) imparti pour la collecte de données; 2) la cohérence des données; et 3) les entrevues auprès des Autochtones vivant dans les régions éloignées. Tous ces risques se sont concrétisés, et les stratégies employées pour les atténuer ont connu un succès mitigé. En outre, un quatrième risque s'est présenté : l'état de préparation global de CanNor à l'égard de l'évaluation.

Selon une pratique d'évaluation exemplaire, avant l'étape de la collecte de données, les répondants potentiels doivent être désignés, et une trousse presque complète de documents du programme doit être prête pour examen. Étant donné la courte période de collecte de données (cinq semaines), ces préparatifs de l'évaluation revêtaient une grande importance. Ni la liste de répondants pour l'évaluation, ni une trousse complète de documents de programme n'étaient prêtes avant la période de collecte de données. Par conséquent, il a fallu que cette période soit prolongée de trois semaines pour garantir qu'un nombre adéquat d'entrevues soient réalisées (certains aspects continuant de faire défaut) et réunir les documents de programme fondamentaux (rapports de rendement annuels, etc.).

Les lacunes dans les documents de programme fondamentaux constituent la limite la plus importante. La série de documents fournie initialement par les responsables du programme renfermait uniquement cinq des 15 rapports de rendement annuels attendus. Des demandes ont été présentées par l'entremise du chargé de projet et directement aux bureaux régionaux de CanNor, mais aucune n'a permis de recevoir d'autres documents. Au final, les évaluateurs les ont demandés directement aux partenaires de mise en œuvre. Dans le cas de l'Université du Yukon, ni CanNor ni l'Université n'ont pu fournir les rapports demandés se rapportant à l'ensemble de la période visée par l'évaluation (de 2015 à 2020), ce qui s'est traduit par une lacune dans les données sur le rendement nécessaires à l'analyse. Dans le même ordre d'idées, les accords de contribution couvrant l'intégralité de la période n'ont pas tous été fournis. Ce manque de données sur le rendement influe forcément sur l'évaluation de l'efficacité du programme.

4.1 Le programme est-il toujours nécessaire?

Cette question a été divisée en trois sous-questions, pour lesquelles les conclusions sont présentées à la section suivante :

• Qui sont les intervenants, et quels sont leurs besoins?
• Ces besoins ont-ils changé au cours des cinq dernières années? Le programme s'est-il adapté à cette évolution des besoins?
• Comment ces besoins changeront-ils à l'avenir?

4.1.1 Qui sont les intervenants, et quels sont leurs besoins?

Le tableau suivant présente les intervenants du PEBAN selon l'ensemble des sources de données.

Tableau 1 : Intervenants du PEBAN

Bénéficiaires cibles	Les apprenants adultes et les participants aux cours dans le Nord (affichant un niveau de littératie et de numératie inférieur à celui acquis pendant les études secondaires)
Intervenants principaux	Les partenaires de mise en œuvre, soit le Collège de l'Arctique du Nunavut (CAN), le Collège Aurora et l'Université du Yukon, qui comprennent les gestionnaires, le personnel et les éducateurs d'adultes.
Intervenants secondaires	Ministères des gouvernements territoriaux Industrie Organismes autonomes des Premières Nations (PN) Collectivités Organisations animées du même esprit et experts contractuels

En ce qui concerne les besoins des intervenants, selon l'examen des documents, une proportion considérable des adultes dans le Nord ne possèdent pas les compétences requises pour effectuer la plupart des tâches de lecture et d'écriture inhérentes à la vie en société et au travail, le niveau de compétence des Autochtones étant, en moyenne, moins élevé que celui des non-Autochtones. Les personnes dont le niveau de littératie est faible sont beaucoup moins susceptibles de trouver un emploi, travaillent en moyenne moins de semaines par année, sont plus susceptibles de vivre des périodes de chômage et demeurent sans emploi pendant de plus longues périodes.^{Note de bas de page 4}

Tableau 2 : Proportion de la population se classant au niveau de compétence 2 ou à un niveau inférieur sur le plan de la littératie (de 16 à 65 ans), 2012^{Note de bas de page 5}

	Population totale	Non-Autochtones	Autochtones
Yukon	44 %	37 %	69 %
Territoires du Nord-Ouest	64 %	44%	82 %
Nunavut	84 %	34 %	92 %
Canada	49 %	-	-

D'autres données confirment l'écart dans les niveaux de compétence entre les Autochtones et non-Autochtones. Par exemple, une différence importante est observée entre les résultats scolaires des Autochtones et des non-Autochtones dans le Nord, où 50 % de la population adulte autochtone n'a pas terminé ses études secondaires, par rapport à 11 % de la population non autochtone. En juin 2020, 18,6 % de la population autochtone adulte des territoires était sans emploi, comparativement à 3,4 % de la population non autochtone.

Équivalent textuel pour Tableau 3 : Population âgée de 25 à 64 ans sans diplôme d'études secondaires, 2014-2019

Description du graphique : Le graphique linéaire présente la proportion d'Autochtones hors réserve, de non Autochtones et de membres de la population totale âgés de 25 à 64 ans sans diplôme d'études secondaires entre 2014 et 2019 pour chaque territoire, et dans l'ensemble du Canada. La proportion de personnes sans diplôme d'études secondaires est environ 20 % plus élevée chez les Autochtones hors réserve que dans la population totale de chaque territoire, ce taux n'étant que de 10 % à l'échelle du Canada.

Bien que le soutien au perfectionnement des compétences soit nécessaire dans l'ensemble des territoires, l'importance de l'écart dans les niveaux de littératie et de numératie varie d'un territoire à l'autre, l'écart le plus considérable étant observé au Nunavut. De plus, une certaine prudence s'impose au moment d'établir des liens directs entre les résultats du programme et l'emploi étant donné que plusieurs facteurs externes influent sur l'emploi, comme les perspectives économiques dans chaque territoire.

Les entrevues appuyaient elles aussi les conclusions découlant de l'examen des documents en ce qui a trait aux niveaux de littératie dans le Nord et à l'écart entre les Autochtones et les non-Autochtones. Pour les partenaires de mise en œuvre, le besoin qui ressort des entrevues est celui d'obtenir des ressources permettant d'offrir des programmes centrés sur les apprenants adultes et de répondre à leurs besoins en fournissant des enseignants qualifiés, des méthodes appropriées ainsi que du contenu et du matériel adaptés à la culture d'une manière qui maximise la disponibilité, l'accès et les taux d'achèvement (persévérance scolaire).

4.2 Le programme concorde-t-il avec les priorités du gouvernement et les objectifs stratégiques de CanNor?

La concordance avec les priorités fédérales repose sur les liens du PEBAN avec le perfectionnement des compétences, plus que sur son mandat fondamental de promotion de la littératie des adultes, mandat qui relèverait des responsabilités provinciales et territoriales. Le volet de perfectionnement des compétences du PEBAN cadre avec les priorités du gouvernement, comme en font foi les annonces faites dans les budgets de 2017 et de 2019 ainsi que les trois renouvellements du programme pendant la période d'évaluation. Par exemple, le renouvellement du programme en 2017 a également été annoncé dans le budget de 2017, sous la rubrique « Créer davantage de possibilités pour les peuples autochtones » dans la partie 1, Permettre aux Canadiens d'acquérir les compétences dont ils ont besoin pour obtenir de bons emplois, du chapitre 1, Compétences, innovation et emplois pour la classe moyenne. Le PEBAN est également en phase avec les aspects du Cadre stratégique pour l'Arctique et le Nord qui touchent à l'éducation, à l'apprentissage continu et au perfectionnement des compétences.

Comme dans le cas ci-dessus, la concordance du PEBAN avec les priorités et les objectifs de CanNor se fonde sur le volet de perfectionnement des compétences du programme. Ce dernier contribue à l'atteinte d'un résultat stratégique de CanNor, à savoir « des économies territoriales développées et diversifiées qui soutiennent la prospérité de tous les résidents du Nord », qui figure dans le cadre des résultats de l'Agence et s'inscrit dans le programme de développement économique et le sous-programme du développement communautaire. En outre, le PEBAN cadre avec la Stratégie de croissance panterritoriale de CanNor en ce qui concerne la main-d'œuvre qualifiée et la mesure proposée qui consiste à accroître les possibilités de perfectionnement continu des compétences, y compris les connaissances et les compétences des Autochtones, par des investissements dans l'infrastructure de formation et l'élaboration de normes de certification, de programmes d'études ou d'autres documents.^{Note de bas de page 7}

Le programme concorde avec les priorités du gouvernement et les objectifs stratégiques de CanNor. Une personne ne peut pas participer à un programme fédéral d'acquisition de compétences si elle n'a pas atteint le niveau de littératie et de numératie requis, un processus qui s'inscrit dans le continuum d'apprentissage. La difficulté vient de ce que les partenaires fédéraux et provinciaux ou territoriaux doivent travailler en collaboration au sein de ce continuum pour éviter les problèmes de compétence et les programmes fonctionnant en vase clos susceptibles de nuire à l'atteinte du résultat souhaité.

4.3 Le gouvernement fédéral joue-t-il un rôle légitime, adéquat et nécessaire dans le cadre du programme?

En ce qui concerne le rôle légitime, le PEBAN a été annoncé dans des budgets fédéraux, a été renouvelé trois fois dans le cadre de processus de présentation au Conseil du Trésor et cadre avec les priorités fédérales et les lettres de mandat ministérielles (Services aux Autochtones Canada [SAC], Relations Couronne-Autochtones et Affaires du Nord Canada [RCAANC], Emploi et Développement social Canada [EDSC] et Innovation, Sciences et Développement économique Canada [ISDE]). Tous les répondants ont indiqué que le gouvernement fédéral joue un rôle légitime, adéquat et nécessaire dans le programme.

Au chapitre du rôle adéquat, les responsabilités fédérales et territoriales pour l'éducation et l'acquisition de compétences sont attestées par les budgets de 2017 et de 2019 et les annonces connexes, la Stratégie de formation pour les compétences et l'emploi des Autochtones et l'établissement du Groupe de travail sur l'éducation postsecondaire dans le Nord dirigé par RCAANC et comportant un éventail d'intervenants territoriaux. Le PEBAN se situe entre les niveaux secondaire et postsecondaire pour ce qui est de l'éducation et de l'acquisition de compétences, toutes deux des responsabilités fédérales et territoriales partagées. Il s'adresse à un groupe mal desservi d'adultes qui ont quitté le système d'éducation officiel et qui ne possèdent pas le niveau de littératie et de numératie nécessaire pour entreprendre un processus d'acquisition de compétences ou saisir des possibilités d'emploi.

Le budget de 2019 fait état d'un examen horizontal des compétences selon lequel 30 ministères offrent plus de 106 programmes de perfectionnement des compétences pour un coût approximatif de 7,5 milliards de dollars par année. ^{Note de bas de page 8} Vu ce contexte, il est difficile de justifier la mise en place d'un autre programme de perfectionnement des compétences, de sorte que le PEBAN devrait continuer de se concentrer sur la littératie pour conserver sa pertinence.

Pour ce qui est du rôle nécessaire, les répondants se sont prononcés avec moins de certitude au sujet du rôle de CanNor dans la conception du programme. Le programme initial a été établi en guise de mesure provisoire, laquelle a été renouvelée pendant plus de 10 ans, et un programme de subventions et de contributions n'est peut-être pas le mécanisme le plus indiqué pour la prestation de ce service. Qui plus est, les mêmes partenaires de mise en œuvre sont retenus chaque année, en dépit de la présence d'autres intervenants dans tous les territoires. Un répondant du Yukon a présenté un autre point de vue qui dépeint ce qui pourrait devenir une approche à long terme de la littératie des adultes dans le Nord :

[TRADUCTION] « Non, CanNor n'a pas de rôle à jouer dans l'éducation de base des adultes dans le Nord. L'éducation de base ne devrait pas être une initiative fondée sur des propositions ou des projets. Il devrait s'agir d'une responsabilité permanente du gouvernement territorial financée par le gouvernement du Canada. J'envisage cette situation sous un autre angle. Je trouve inappropriée l'idée qui a cours selon laquelle les programmes d'éducation de base des adultes devraient être menés en fonction des propositions faites par une organisation de prestation de services. Je ne crois pas que CanNor devrait avoir comme responsabilité l'éducation de base des adultes. À mon avis, il faut rompre le lien entre l'activité économique et l'éducation de base des adultes. »

5.1 Dans quelle mesure les activités du programme ont-elles permis d'obtenir les résultats prévus?

La qualité des rapports variait grandement d'un partenaire de mise en œuvre à l'autre, si bien qu'il a été difficile de comparer les résultats prévus et les résultats réels dans le cas du Nunavut et de l'Université du Yukon. C'est le Collège Aurora qui a fourni les rapports annuels de la meilleure qualité pour ce qui est du respect des exigences applicables aux rapports énoncées dans l'accord de contribution, du contenu et de l'exhaustivité des rapports. Mentionnons que le Collège Aurora a signalé avoir produit 95 % (155 sur 163) des résultats prévus.

Les rapports du Collège de l'Arctique du Nunavut faisaient état des résultats obtenus, mais ne les comparaient pas aux plans de travail établis. Cela dit, les rapports présentaient les résultats pour des aspects comme la prestation du programme (c.-à-d. les cours), les instructeurs en EBA, les programmes des Aînés, le renforcement des capacités du personnel, l'élaboration de programmes d'études, les outils d'évaluation et la recherche. Comme il a été mentionné dans la section sur les limites, il n'a pas été possible de comparer les résultats réels aux résultats prévus dans le cas de l'Université du Yukon.

Le modèle logique (voir l'annexe B) prévoyait plusieurs catégories de résultats. Dans la catégorie Capacité de prestation de services/qualité des services, les résultats comprennent des activités comme la formation des enseignants, la dotation en personnel et les outils. Voici quelques exemples pour tous les partenaires dans ce domaine (à titre indicatif seulement) :

• Formation sur le PEBAN pour l'ensemble du Nunavut donnée à Iqaluit (août 2016) : des éducateurs d'adultes et coordonnateurs communautaires des régions de Qikiqtaaluk, du Kivalliq et de Kitikmeot ont pris part à un programme de perfectionnement professionnel de trois jours ayant lieu à Iqaluit à la fin du mois d'août.
• Un cadre de leadership en éducation (Aurora, 2019), qui préconise une approche autochtone à l'égard du leadership, a été créé en vue d'établir une culture du leadership et de favoriser le perfectionnement des capacités de leadership des instructeurs et des éducateurs d'adultes.

De plus, encore dans la catégorie Capacité de prestation de services/qualité des services, il ressort clairement des renseignements fournis par le Collège de l'Arctique du Nunavut et le Collège Aurora que les fonds du PEBAN ont aidé à pourvoir des postes d'EBA, surtout à l'échelle communautaire. Dans le cas du Nunavut, le financement a également servi à faire appel aux services d'Aînés instructeurs en vue de la prestation de cours. Les postes financés ont changé de concert avec le financement. Voici quelques exemples :

• En 2016-2017, le Collège de l'Arctique du Nunavut a indiqué que 14 autres instructeurs de soutien à l'EBA avaient été embauchés et que les services de 56 Aînés instructeurs et instructeurs spécialistes de la culture avaient été retenus.
• En 2016-2017, le Collège Aurora a déclaré une augmentation de 4,6 ETP au chapitre des instructeurs en EBA; il s'agissait parfois de nouveaux postes et parfois de la conversion d'un poste communautaire à temps partiel en un poste à temps plein.
• En 2016-2017, le financement reçu par l'Université du Yukon a servi à appuyer la gestion du programme sous la forme d'un coordonnateur de l'EBA, d'un agent budgétaire, d'un chercheur et d'un instructeur.

L'établissement de partenariats avec des collectivités et d'autres parties est apparent dans les trois territoires :

• Par exemple, le Collège de l'Arctique du Nunavut s'est associé à des partenaires de l'industrie aux fins de la prestation de cours dans certaines collectivités, comme un programme de formation préalable à l'apprentissage d'un métier pour les métiers à Rankin Inlet, offert en partenariat avec la Kivalliq Mine Training Society et Agnico-Eagle (2016-2017); et un programme de sciences et de mathématiques préalable à l'apprentissage d'un métier offert à Mary River en partenariat avec la Baffinland Iron Mines Corporation de janvier à avril 2018.
• Le Collège Aurora a lui aussi eu recours à des partenariats, comme en témoigne son approche consultative en matière d'élaboration et de prestation de programmes, laquelle s'est traduite par des réunions annuelles structurées avec ses partenaires. Par exemple, en 2018, deux réunions ont été tenues avec des partenaires comme des représentants de la Stratégie de formation pour les compétences et l'emploi des Autochtones, du gouvernement du territoire de l'Akaitcho, des Premières Nations du Dehcho, du Conseil tribal des Gwich'in, de la Société régionale inuvialuit, de la Nation métisse des Territoires du Nord-Ouest, du Conseil des Dénés du Sahtu, du gouvernement tlicho, du Northwest Territories Literacy Council et du ministère de la Justice.
• Les rapports de l'Université du Yukon mentionnaient certains exemples de partenariats, notamment un programme de compétences industrielles offert en 2016-2017 pour préparer les étudiants au travail dans un site minier. Diverses entreprises ont fourni de l'équipement pour que les étudiants puissent acquérir une expérience pratique (Victoria Gold, Alexco Resources, centre d'innovation minière dans le Nord, Cobalt Construction, Première Nation des Nacho Nyak Dun). Des dix étudiants, cinq ont trouvé un emploi à temps plein dans la communauté ou dans l'une des mines.

En ce qui concerne l'accès aux services, la présence de matériel adapté à la culture est la plus manifeste au Nunavut, où l'inclusion des Aînés et l'adaptation du contenu et des programmes d'études à la culture des peuples inuits transparaissent clairement. En voici quelques exemples :

• Un dossier personnalisé de ressources en inuktitut a été élaboré aux fins d'utilisation dans le programme d'EBA et renfermait des éléments de savoir traditionnel et de l'histoire orale sur divers sujets. Il était accompagné de deux guides à l'intention des instructeurs pour aider ces derniers à utiliser ce contenu local dans leur programme d'EBA existant.
• Des ressources sont prévues pour le recours aux Aînés et l'obtention de matériel d'apprentissage. Le CAN fait appel à des Aînés qui sont chargés de diriger des séances pratiques dans certains cours d'ACE. Cette approche s'est avérée très populaire auprès des apprenants et des éducateurs d'adultes :

  [TRADUCTION] «  La contribution la plus novatrice à la réussite du programme d'EBA a peut-être été l'investissement qui a été fait pour collaborer avec des Aînés aux fins du processus d'enseignement et d'apprentissage. Les Aînés instructeurs apportent au programme d'études de l'EBA des valeurs et des connaissances inuites traditionnelles qui sont indispensables. Tant les instructeurs que les étudiants sont d'avis que la présence d'Aînés dans la salle de classe est le facteur de motivation le plus efficace pour amener les étudiants inuits à s'investir dans leur apprentissage, ce qui se traduit par une hausse du taux de persévérance scolaire et du taux d'obtention de diplôme. »^{Note de bas de page 9}

• L'Université du Yukon a conçu et mis en œuvre un programme de certificat en arts des Premières Nations du Yukon afin de soutenir les arts visuels autochtones du Yukon tout en renforçant les compétences scolaires des apprenants désireux de poursuivre leurs études ou d'intégrer les industries artistiques et culturelles du Yukon.

Les répondants ont souscrit aux conclusions de l'examen de documents. Même s'ils ne connaissaient pas très bien le PEBAN, les répondants de CanNor ont indiqué que les partenaires de mise en œuvre possédaient des connaissances spécialisées et donnaient suite à leurs plans. Dans l'ensemble, les employés de CanNor considèrent que la relation revêt une nature transactionnelle, à savoir qu'ils reçoivent des rapports et transfèrent des fonds. Certains répondants ont formulé des commentaires sur la qualité des rapports, mais rien n'indique que des instructions ont été communiquées aux partenaires de mise en œuvre afin que ceux-ci répondent mieux aux besoins de CanNor. Un répondant a souligné la difficulté que comporte la production de rapports sur les résultats étant donné que le secteur de l'éducation et du perfectionnement des compétences est très fragmenté à tous les échelons – fédéral, territorial et au sein même des programmes des partenaires de mise en œuvre.

D'autres répondants (c.-à-d. partenaires de mise en œuvre, éducateurs d'adultes et étudiants) soutenaient la conclusion voulant que les partenaires de mise en œuvre exécutent le travail comme prévu. Il est reconnu que le CAN a éprouvé des difficultés en raison de changements survenus au sein du Collège et des répercussions de la COVID-19. La COVID-19 a causé certains problèmes l'année dernière (2020-2021); il a notamment fallu adopter un mode d'enseignement à distance et en ligne, le PEBAN ayant fourni aux partenaires de mise en œuvre la latitude nécessaire pour opérer cette transition.

5.2 Dans quelle mesure le programme a-t-il atteint ses résultats escomptés?

Le tableau suivant présente une évaluation sommaire de l'atteinte des résultats escomptés du PEBAN. Les sections suivantes font état des données et des conclusions qui se rapportent à chaque résultat.

ii.a Augmentation de la proportion totale de personnes différentes, et de la proportion de femmes et d'Autochtones, inscrites à un programme d'éducation de base des adultes qui terminent leur programme avec succès.

La cible pour cet indicateur a été fixée à une croissance de 0,5 % à partir d'une base de référence qui comprenait le taux d'achèvement pour tous les étudiants dans chaque territoire, ainsi que pour les Autochtones et les femmes. Les taux d'achèvement de base sont présentés dans le tableau suivant :

Pour ce qui est des taux d'achèvement globaux, ceux du CAN ont atteint leur cible une seule fois au cours de la période de cinq ans, des écarts considérables ayant été enregistrés. Le Collège Aurora a atteint ses cibles quatre années sur cinq et les a parfois dépassées. L'information soumise par l'Université du Yukon n'est pas complète et n'est donc pas fiable.

Les taux d'achèvement ventilés selon le genre et le statut d'Autochtone sont présentés ci-dessous (les taux d'achèvement inférieurs à la moyenne globale sont indiqués en jaune). Les participants de sexe féminin sont plus susceptibles de ne pas terminer un cours que leurs homologues de sexe masculin. Les calculs sont plus difficiles pour les Autochtones, car la quasi-totalité des participants sont autochtones au Nunavut, mais, en général, leurs taux d'achèvement atteignent ou dépassent la moyenne.

Certains renseignements ont été trouvés dans un rapport trimestriel^{Note de bas de page 16} de l'Université du Yukon faisant état des taux d'achèvement pour les cours d'EBA et les cours en ligne (pour le trimestre en question) :

En outre, des taux d'achèvement moins élevés ont été enregistrés dans le cas des cours en ligne, par exemple le programme Voie vers l'obtention d'un diplôme d'études secondaires pour les adultes. Par exemple, en 2019-2020, 22 des 150 participants ont terminé ce programme tandis que 17 autres le suivaient encore, de sorte que tout au plus 39 des 150 participants termineraient le programme, ce qui équivaut à un taux d'achèvement de 26 %. Comparons cette situation à celle des cours communautaires donnés pendant la même période, où, sur 156 participants, 87 avaient terminé leur cours ou étaient en voie de le faire, pour un taux d'achèvement de 56 %.

La plupart des répondants ont indiqué que les taux d'achèvement peuvent varier selon le cours, la collectivité et la cohorte. En général, les cours de courte durée de type LCE affichent de meilleurs taux de persévérance scolaire. Les facteurs susceptibles d'amener une personne à ne pas terminer un cours ont été énumérés lors de l'étude des questions ci-dessus.

5.3 Quels facteurs (internes et externes) ont influé sur l'atteinte des résultats?

6.1 Dans quelle mesure le programme a-t-il été exécuté comme prévu (budget par rapport à dépenses)?

Dans l'ensemble, le programme a dépensé ses fonds conformément au budget, un écart global de -6 % ayant été enregistré. D'importants écarts sont observés d'une année à l'autre pour le Collège de l'Arctique du Nunavut, les dépenses totales étant inférieures au budget de 17 %. Des écarts majeurs dans les dépenses du CAN sont constatés en 2017-2018 (-32 %) et 2018-2019 (-30 %). Parmi les raisons invoquées pour justifier cette situation, soulignons le roulement considérable à l'échelon de la direction du Collège qui a entravé la prise de décisions concernant les activités de programme.

Par ailleurs, un léger dépassement des fonds prévus est observé pour l'Université du Yukon, soit 9 %, c'est-à-dire environ 342 000 $ sur la période de cinq ans. Aucun accord de contribution couvrant ces augmentations n'a été examiné lors de l'évaluation.

6.2 Dans quelle mesure le programme a-t-il été exécuté avec efficience?

Une gestion lacunaire des documents a été observée chez CanNor et chez certains partenaires de mise en œuvre. Il y a eu d'importants retards dans la réception des rapports annuels et des accords de contribution complets et exacts. CanNor (administration centrale et bureaux régionaux) n'a pu fournir que cinq des 15 rapports annuels. Un seul rapport annuel complet a été reçu de l'Université du Yukon.

La qualité des rapports varie elle aussi d'un partenaire de mise en œuvre à l'autre. Le Collège Aurora a fourni les rapports les plus uniformes et complets, et dépassé souvent les exigences énoncées dans les accords de contribution. Les rapports du Collège de l'Arctique du Nunavut étaient eux aussi acceptables et renfermaient des renseignements supplémentaires sur le rendement lorsque de tels renseignements étaient disponibles.

Les exigences en matière d'établissement de rapports prévues dans les accords de contribution ont changé entre 2015-2017 et le nouveau cycle de financement, soit 2017-2020. La période de 2015 à 2017 était assortie de 12 indicateurs de rendement, dont quatre pour lesquels les données étaient difficiles à recueillir étant donné qu'il fallait faire un suivi auprès des étudiants plusieurs mois après la fin de leur cours. Pour la période de 2017 à 2020, le nombre d'indicateurs de rendement a été réduit à cinq, puis à trois. Deux des trois partenaires de mise en œuvre ont continué de rendre compte des 12 indicateurs initiaux pour permettre une analyse chronologique couvrant la période d'évaluation.

Des rapports d'étape trimestriels étaient parfois exigés. En outre, au cours de la période 2017-2020, cette fréquence a été réduite à deux fois par année dans certains cas. Enfin, les accords de contribution étaient souvent achevés tard dans l'année financière, ce qui peut nuire à la planification et à la prestation d'un programme.

La plupart des répondants estiment que les partenaires de mise en œuvre font preuve d'efficience pour ce qui est de maximiser les ressources de manière à répondre aux besoins de la collectivité. Selon un partenaire de mise en œuvre interrogé, les retards dans les annonces et les accords de même que les décisions changeantes peuvent nuire à la prestation d'un programme. En outre, l'environnement opérationnel complexe peut poser des difficultés.

Par exemple, les logements destinés aux éducateurs d'adultes dans les collectivités éloignées peuvent être limités (Nunavut). De plus, la pandémie de COVID-19 a entraîné le passage à l'apprentissage en ligne, ce qui peut se révéler ardu étant donné les connaissances en informatique limitées des participants ainsi que les contraintes d'équipement et de bande passante.

De même, la transition vers des cours de LCE de courte durée qui sont plus adaptés et axés sur la collectivité peut s'avérer difficile. Dans la mesure du possible, les partenaires de mise en œuvre tentent d'appliquer les cours adaptés dans une autre collectivité si on leur en fait la demande. Mentionnons à titre d'exemple que le Yukon élabore des cadres de cours évolutifs qui, après certains rajustements, peuvent être appliqués dans d'autres collectivités qui ont cerné le même besoin (entretien domiciliaire, etc.).

6.3 D'autres approches permettraient elles d'obtenir les résultats escomptés de manière plus efficiente ou efficace?

7.1 Quels sont les points à améliorer, les leçons apprises et les pratiques exemplaires?

Pratiques exemplaires qui sont ressorties de l'examen des documents :

• Au Nunavut, l'inclusion d'Aînés à titre d'instructeurs dans certains cours a été vue d'un bon œil, tant par les éducateurs d'adultes que les étudiants. L'affectation de ressources servant à faire appel à des Aînés et à fournir le matériel nécessaire est considérée comme une pratique exemplaire.

  [TRADUCTION] « Tant les instructeurs que les étudiants sont d'avis que la présence d'Aînés dans la salle de classe est le facteur de motivation le plus efficace pour amener les étudiants inuits à s'investir dans leur apprentissage, ce qui se traduit par une hausse du taux de persévérance scolaire et du taux d'obtention de diplôme. »^{Note de bas de page 17}

• Dans les Territoires du Nord-Ouest, le recours à une expertise locale en matière de surveillance et d'évaluation a donné lieu à la production de rapports uniformes de haute qualité et à la mise en place d'un suivi sur lequel le Collège peut se fonder pour prendre des décisions. L'expert en question a été embauché en 2012 et a poursuivi son travail; il a également assuré le transfert organisé et structuré de ses dossiers aux nouveaux experts-conseils en 2018-2019. Cette mesure a également permis aux T.N. O. de mener leur propre évaluation du programme (en 2016). Cette approche fournit aux collèges une évaluation qui est plus ciblée et personnalisée qu'une évaluation du programme dans son ensemble.

L'évaluation précédente du PEBAN réalisée en 2016 faisait état de leçons apprises. L'examen de ces leçons révèle qu'elles n'ont pas été pleinement appliquées par CanNor et qu'elles demeurent pertinentes, particulièrement la suivante : « il faudrait modifier [le cadre de gestion du rendement du programme] afin d'y intégrer les objectifs atteignables pendant la durée d'exécution du programme, et l'axer davantage sur l'alphabétisation et l'acquisition de compétences essentielles ».

Les pratiques exemplaires, les leçons apprises et les points à améliorer mentionnés par les répondants sont présentés ci-dessous. Certains éléments s'appliquent à l'ensemble du programme, alors que d'autres visent des régions en particulier.

Recommandations à l'intention de CanNor

Recommandations à l'intention des partenaires de mise en œuvre

Recommandations à l'intention de CanNor

Recommandations à l'intention des partenaires de mise en œuvre

Recommandations à l'intention de CanNor

Recommandations à l'intention de CanNor

Pertinence

Rendement – Efficacité

Efficience

Leçons apprises

Introduction

L'étude de cas vise les trois territoires, de sorte que l'évaluation se limite à un sujet compte tenu du temps et des ressources disponibles. Il est attendu que deux ou trois entrevues soient menées par territoire; par conséquent, l'étude de cas comporte de six à neuf entrevues, plus l'examen de documents.

Deux sujets ont été proposés au chargé de projet et au comité consultatif interne pour l'étude de cas. Il été décidé que l'étude de cas porterait sur l'élaboration des programmes d'études.

Raison d'être et portée

La sélection repose sur le fait que le programme entretient une collaboration avec les collèges depuis une dizaine d'années, mais que les besoins diffèrent d'un territoire à l'autre : il s'agit parfois d'assurer une éducation de base, et parfois, de fournir d'autres types d'éducation et de formation aux fins d'employabilité. La sélection du processus d'élaboration des programmes d'études et de leur contenu comme sujet permettra à l'évaluation d'examiner en profondeur la manière dont le programme répond aux besoins et s'il y répond de manière appropriée (participative, adaptée à la culture, novatrice, etc.), de même que le rôle que jouent les partenariats et les relations, par exemple, avec l'industrie, dans l'orientation des programmes d'études.

Méthode

Le protocole d'exécution de l'étude de cas est le suivant :

• Tenir une réunion initiale avec les responsables du programme afin de recueillir des renseignements préliminaires et de désigner les répondants.
• Examiner les documents et les dossiers.
• Mener de six à neuf entrevues.
• Effectuer l'analyse qui rassemblera les données par territoire et par question d'évaluation et leurs indicateurs, puis formuler les conclusions.
• Documenter l'étude de cas.

Guide d'entrevue pour l'étude de cas