L'un des principaux défis de la mise en œuvre d'un programme est sa capacité à atteindre les objectifs et à générer l'impact attendu.
Dans cette perspective, les cadres de suivi et évaluation de Programme sont essentiels.
Il ne s'agit pas de simples listes de contrôle ou d'énumérations d'activités, mais bien de la représentation intégrale d'un programme, illustrant sa structure, ses actions et les résultats attendus.
Ces cadres guident la réalisation du programme, en mettant en avant les étapes clés, le fonctionnement attendu, et l'ordonnancement des activités pour réaliser les objectifs.
Voyons dans cet article les différents cadres de suivi et d’évaluation des programmes.
Pourquoi un cadre de suivi et évaluation ?
Les cadres de suivi et évaluation ne sont pas de simples compléments ou accessoires dans la mise en œuvre d'un programme.
Ils en sont le cœur battant, garantissant que chaque action, chaque ressource et chaque décision s'inscrivent dans une stratégie globale visant à créer un impact significatif.
Voici les avantages d’un cadre de suivi et évaluation de programme :
- Éclairage et analyse : Un cadre de suivi et évaluation bien construit offre une vision claire et détaillée des stratégies, des objectifs et des activités du programme. Il sert de loup d'analyse, permettant d'examiner et de vérifier si les stratégies et activités envisagées sont effectivement les plus pertinentes pour le contexte donné
- Rationalité et orientation : Grâce à ces cadres, les activités de suivi et d'évaluation sont basées sur une logique précise et rationnelle. Ils évitent les tâtonnements et fournissent une marche à suivre claire et structurée, assurant ainsi une mise en œuvre efficace et cohérente
- Définition d’objectifs : Ils énoncent les buts globaux du programme tout en détaillant des objectifs mesurables à court, moyen et long terme, assurant ainsi que chaque étape de mise en œuvre est alignée sur une vision plus large
- Cartographie des relations : Les cadres établissent des liens clairs entre les ressources (intrants), les activités entreprises, les effets immédiats et les impacts à long terme. Ils mettent également en lumière les relations entre les activités du programme et les facteurs externes qui peuvent influencer son succès
- Illustration graphique : La représentation souvent graphique de ces cadres permet une compréhension rapide et visuelle des dynamiques et relations au sein du programme. Cela facilite non seulement la planification, mais aussi la communication avec les parties prenantes
Les différents cadres de suivi et évaluation
Les cadres de suivi et évaluation (S&E) fournissent une structure pour assurer que les projets et les programmes sont exécutés comme prévu et atteignent les résultats escomptés.
Différents cadres ont été développés au fil des années pour répondre aux besoins spécifiques des divers domaines d'intervention et des contextes dans lesquels ils sont utilisés.
Voici quelques-uns des principaux cadres de suivi et évaluation :
1) Cadre Logique (LogFrame)
Le cadre logique, souvent appelé "LogFrame" (un raccourci pour "Logical Framework"), est un outil développé pour la première fois par l'Agence des États-Unis pour le développement international (USAID) dans les années 1970.
Conçu comme une réponse aux besoins de transparence, d'efficacité et d'efficience dans la gestion de projets, il est rapidement devenu une référence dans le monde de la gestion de projet, en particulier dans le domaine de la coopération internationale.
1.1) La Structure du Cadre Logique
Au cœur de ce système se trouve une matrice qui présente une vue d'ensemble du projet.
Cette matrice structurée est divisée en plusieurs colonnes et lignes, chacune avec un rôle spécifique.
- Colonnes : Chaque colonne représente une dimension du projet. Ces dimensions vont des objectifs globaux aux activités spécifiques, en passant par les résultats attendus
- Lignes : Les lignes, quant à elles, détaillent les éléments clés tels que les indicateurs de performance, les sources de vérification ou les risques et hypothèses
1.2) Les Relations Causales
L'un des aspects les plus précieux du cadre logique est la manière dont il décrit la relation causale entre différents éléments du projet.
- Intrants : Ce sont les ressources que vous investissez dans votre projet, comme le temps, l'argent, l'équipement et les compétences
- Activités : Ces ressources (ou intrants) sont utilisées pour mener à bien des activités spécifiques, telles que des formations, des ateliers ou la construction d'infrastructures
- Extrants : Suite à ces activités, des produits ou services spécifiques sont livrés, comme des personnes formées ou une école construite
- Effets : Ces extrants entraînent des changements à moyen terme. Par exemple, les personnes formées peuvent commencer à appliquer leurs nouvelles compétences
- Impacts : À long terme, ces effets entraînent des changements plus profonds ou plus larges dans la communauté ou la société, comme l'amélioration du niveau d'éducation ou la réduction de la pauvreté
Exemple :
Imaginez le cadre logique comme une série de dominos alignés.
Si vous poussez le premier domino (intrants), il déclenche une réaction en chaîne qui fait tomber les dominos suivants (activités, extrants, effets) jusqu'à ce que le dernier domino tombe (impacts).
Chaque étape est liée à la précédente par une relation de cause à effet.
Le cadre logique est un outil puissant non seulement pour la planification, mais aussi pour la mise en œuvre, le suivi et l'évaluation de projets.
Il fournit une vue d'ensemble claire et structurée, permettant aux parties prenantes de comprendre facilement comment un projet est censé fonctionner et quelles sont les attentes en termes de résultats.
2) Théorie du Changement (TdC)
Imaginez que vous ayez devant vous un puzzle dont l'image finale est le changement positif que vous souhaitez voir dans le monde, disons, la réduction de la pauvreté dans une communauté spécifique.
La Théorie du Changement est l'outil qui vous aide à comprendre chaque pièce de ce puzzle et comment elles s'assemblent pour former cette image.
2.1) Flexibilité de la TdC
Là où le Cadre Logique est comme un plan de construction rigide pour une maison, la TdC est plus comme une carte de randonnée.
Elle montre la destination (votre changement souhaité à long terme) et les différents sentiers (étapes et interventions) pour y arriver.
Mais contrairement à un plan de construction, la carte vous offre la flexibilité de choisir ou d'ajuster votre chemin en fonction des obstacles que vous pourriez rencontrer.
2.2) Étapes Vers le Changement
La TdC détaille chaque étape nécessaire pour réaliser ce changement à long terme.
Reprenant notre analogie de la carte de randonnée, imaginez chaque point d'étape comme un campement ou un jalon sur votre chemin.
Ces étapes sont cruciales car elles vous permettent de suivre vos progrès, d'évaluer où vous en êtes et de définir les actions suivantes.
2.3) Préconditions et interventions
Pensez aux préconditions comme aux "ingrédients" nécessaires pour réaliser chaque étape.
Si une étape est de "cuire un gâteau", alors les préconditions seraient "avoir un four, des ingrédients et une recette".
Les interventions, quant à elles, sont les actions spécifiques que vous allez entreprendre pour satisfaire ces conditions - dans notre exemple, cela pourrait être "acheter un four ou rassembler des ingrédients".
2.4) Hypothèses sous-jacentes
C'est là que la TdC brille vraiment.
Pour chaque intervention ou précondition, vous posez la question :
Qu'est-ce qui doit être vrai pour que cela fonctionne ?
Ces hypothèses vous aident à anticiper les défis et à être prêt à ajuster votre approche si nécessaire.
En résumé :
La Théorie du Changement est une carte pour naviguer dans le complexe voyage du changement social.
Elle vous donne une vue d'ensemble claire du "quoi" (le changement que vous souhaitez voir), du "comment" (les étapes et interventions pour y parvenir) et du "pourquoi" (les hypothèses qui sous-tendent votre approche).
C'est un outil dynamique et flexible qui permet d'anticiper, de s'adapter et d'évoluer en fonction des réalités changeantes du terrain.
3) Cadre de Résultats
Imaginons que vous soyez un coach d'une équipe de football.
Votre travail ne consiste pas uniquement à veiller à ce que les joueurs s'entraînent.
Vous voulez voir comment ils performent lors des matchs et, finalement, si l'équipe remporte des victoires.
Dans le contexte des programmes ou projets, c'est similaire : ce n'est pas seulement l'effort ou les activités qui comptent, mais aussi les résultats concrets qu'ils produisent.
3.1) "Faire" au "Résultat"
Revenons à notre équipe de football.
Vous pourriez organiser de nombreuses séances d'entraînement (ce sont vos "activités"), mais comment savez-vous si elles sont efficaces ?
Vous le saurez en observant les performances des joueurs lors des matchs (vos "résultats").
Dans le contexte d'un programme, il ne s'agit pas seulement de réaliser des activités, mais de comprendre comment ces activités mènent à des changements positifs spécifiques.
3.2) Pourquoi c'est essentiel
Si vous ne suivez que les séances d'entraînement sans jamais regarder un match, vous ne saurez jamais vraiment si votre équipe progresse.
De même, dans un programme, si vous ne faites que suivre les activités sans évaluer les résultats, vous ne saurez jamais si vous faites une différence.
C'est là que le suivi des performances et l'évaluation des impacts entrent en jeu.
Ils vous permettent de savoir si vous êtes sur la bonne voie pour réaliser votre vision.
Mettre l'accent sur les performances et les résultats, c'est comme être un coach qui ne se contente pas de s'entraîner, mais qui veut voir son équipe gagner.
Vous ne vous contentez pas d'organiser des activités, vous voulez voir les impacts positifs de ces activités.
C'est la raison pour laquelle nous surveillons les performances et évaluons les impacts - pour nous assurer que nous ne nous contentons pas de "jouer le jeu", mais que nous marquons vraiment des points et, finalement, remportons la victoire.
4) Performance Monitoring Framework (PMF)
Prenons un exemple simple pour mieux comprendre.
Imaginez que vous soyez en train de construire une maison.
Vous avez un plan détaillé, mais comment pouvez-vous être sûr que la construction se déroule bien et à temps ?
4.1) Qu'est-ce que le PMF ?
Le PMF est comme une liste de contrôle pour la construction de votre maison.
Au lieu de simplement espérer que tout se passe bien, vous établissez des points de contrôle spécifiques.
Par exemple, à la fin du mois 1, les fondations devraient être terminées.
A la fin du mois 2, les murs devraient être érigés, etc.
Chaque point de contrôle est un "indicateur de performance" - un signe mesurable que vous êtes sur la bonne voie.
Si vous atteignez chaque indicateur à temps, cela signifie que la construction se déroule bien.
Si ce n'est pas le cas, vous savez que vous devez intervenir et faire des ajustements.
4.2) Pourquoi est-ce important pour un projet?
Dans le contexte d'un projet, le PMF fait exactement la même chose.
Au lieu de construire une maison, vous mettez en œuvre différentes activités pour atteindre un objectif plus large.
Chaque activité a des indicateurs de performance spécifiques - des points de contrôle pour s'assurer que tout est sur la bonne voie.
Si vous ne disposiez pas de ces indicateurs, il serait très facile de perdre le fil des choses, de se laisser distraire ou de ne pas réaliser que quelque chose ne va pas avant qu'il ne soit trop tard.
Avec le PMF, vous avez un moyen systématique de suivre vos progrès, de repérer rapidement les problèmes et de prendre des mesures pour y remédier.
En conclusion :
Le Cadre de Surveillance des Performances (PMF) est votre "outil de liste de contrôle" pour la gestion de projet.
Il ne s'agit pas seulement de faire des choses, mais de s'assurer que chaque chose est faite correctement et à temps, pour que le projet dans son ensemble réussisse.
5) Outcome Mapping
Imaginez que vous êtes un enseignant.
Votre objectif n'est pas seulement de transmettre des connaissances, mais de susciter un véritable changement chez vos élèves : développer leur curiosité, les inciter à poser des questions, à travailler en équipe, etc.
Ce type de changement est complexe et ne peut pas être simplement mesuré par un test ou un examen.
C'est ici que la "Cartographie des Résultats" (ou Outcome Mapping) entre en jeu.
5.1) Qu'est-ce que la Cartographie des Résultats ?
Au lieu de se concentrer sur les résultats tangibles comme le nombre de cours donnés ou le score moyen à un examen, la Cartographie des Résultats se penche sur les changements plus subtils dans le comportement, les relations et les actions des personnes impliquées.
Dans notre exemple d'enseignant, cela pourrait signifier observer comment les élèves interagissent entre eux, s'ils posent plus de questions en classe, ou s'ils participent à des activités parascolaires liées à la matière.
5.2) Pourquoi est-ce important pour un projet ?
De nombreux projets ont des objectifs qui vont au-delà des résultats tangibles.
Peut-être qu'un programme de santé vise non seulement à distribuer des médicaments, mais aussi à changer la manière dont une communauté perçoit la santé et la prévention.
Ou peut-être qu'un projet environnemental veut à la fois planter des arbres et encourager une relation plus respectueuse avec la nature.
Dans de tels cas, simplement compter le nombre d'arbres plantés ou de médicaments distribués ne donne pas une image complète du succès du projet.
La Cartographie des Résultats permet aux équipes de projet de suivre et d'évaluer ces aspects plus intangibles mais tout aussi importants.
Ceci étant dit, la cartographie des Résultats nous rappelle que les projets ont souvent des impacts qui sont plus profonds et plus complexes que de simples chiffres.
Elle offre un outil pour capturer, comprendre et célébrer ces changements subtils mais puissants qui se produisent lorsqu'un projet touche véritablement la vie des personnes impliquées.
6) Most Significant Change (MSC)
Imaginez que vous travaillez sur un projet pour améliorer la qualité de l'éducation dans une région rurale.
Vous avez des chiffres : le nombre d'écoles construites, le nombre d'enseignants formés, le taux de réussite aux examens.
Mais que se passe-t-il si l'une des meilleures indications de succès est une histoire racontée par une jeune fille qui, grâce à votre projet, est devenue la première de son village à aller à l'université?
C'est là que la technique du "Changement le Plus Significatif" entre en jeu.
6.1) Qu'est-ce que le MSC?
Le MSC est une méthode qualitative qui va au-delà des chiffres et des indicateurs pour capturer les véritables histoires de changement.
Plutôt que de simplement compter, par exemple, combien de personnes ont participé à une formation, le MSC demande : "Qu'est-ce qui a vraiment changé pour vous à la suite de cette formation?"
6.2) Comment cela fonctionne-t-il?
Les parties prenantes d'un projet - qu'il s'agisse de bénéficiaires, d'exécutants ou de donateurs - sont invitées à partager des histoires sur les changements qu'elles perçoivent comme étant les plus significatifs.
Ces histoires sont ensuite collectées, partagées et analysées de manière systématique.
Par un processus de dialogue et de délibération, les parties prenantes sélectionnent ensuite les histoires qui, selon elles, représentent les changements les plus importants.
6.3) Pourquoi est-ce précieux?
Le MSC offre une perspective riche et nuancée sur l'impact d'un projet.
Il reconnaît que le changement est souvent multidimensionnel et que les histoires peuvent capturer des aspects de ce changement qui pourraient autrement être négligés.
Les histoires peuvent aussi être incroyablement puissantes pour engager les parties prenantes, susciter l'empathie et mobiliser le soutien.
En résumé :
Le "Changement le Plus Significatif" nous rappelle que derrière chaque chiffre, il y a une histoire, et que ces histoires peuvent offrir des aperçus profonds et émouvants sur la vraie nature et la valeur d'un projet.
C'est une technique qui célèbre l'impact humain, offrant une vue complémentaire et enrichissante aux méthodes d'évaluation plus traditionnelles.
7) Balanced Scorecard
Imaginons que vous soyez le directeur d'une grande organisation non gouvernementale (ONG) qui vise à promouvoir l'éducation durable.
Alors que les indicateurs financiers vous montrent que votre budget est bien géré, vous réalisez que cela ne raconte qu'une partie de l'histoire.
Comment vos bénéficiaires perçoivent-ils votre travail ?
Vos processus internes sont-ils efficaces ?
Vos employés apprennent-ils et se développent-ils ?
C'est ici que la Carte de Score Équilibré (ou Balanced Scorecard) trouve sa valeur.
7.1) Qu'est-ce que la Balanced Scorecard?
Adaptée du secteur des affaires, la Balanced Scorecard est une méthode de mesure de la performance qui considère une organisation sous plusieurs angles, plutôt que de se concentrer uniquement sur les indicateurs financiers.
Elle offre une vue à 360 degrés, permettant aux organisations d'avoir une image complète de leur performance.
7.2) Les quatre perspectives
Les quatre perspectives sont les suivantes :
- Perspective Financière : C'est probablement l'aspect le plus traditionnel de l'évaluation. Comment se porte notre organisation financièrement ?
- Perspective Client : Comment nos clients ou bénéficiaires nous perçoivent-ils ? Leurs besoins sont-ils satisfaits ?
- Perspective des Processus Internes : Quelle est l'efficacité de nos opérations internes ? Nos processus nous permettent-ils d'atteindre nos objectifs ?
- Perspective Apprentissage et Croissance : Nos employés ont-ils les opportunités et les ressources nécessaires pour apprendre et évoluer ?
7.3) Pourquoi est-ce précieux?
La grande force de la Balanced Scorecard est qu'elle reconnaît que la performance organisationnelle est multifacette.
Les organisations qui réussissent ne sont pas seulement celles qui sont financièrement solides, mais aussi celles qui répondent aux besoins de leurs clients, qui sont efficaces dans leurs opérations internes, et qui investissent dans le développement de leurs employés.
En résumé :
La Carte de Score Équilibré offre une manière holistique de comprendre la performance organisationnelle, en reconnaissant que la réussite se manifeste de différentes manières.
Elle offre aux dirigeants une vision complète, les aidant à prendre des décisions éclairées qui favorisent une croissance et un impact durables.
8) Cadre de Gestion des Performances (Performance Management Framework)
Mettons-nous à la place d'un directeur d'une organisation travaillant sur l'amélioration de l'accès à l'eau potable dans des régions reculées.
Vous avez une vision claire, une mission et une stratégie pour les 5 prochaines années.
Cependant, comment vous assurez-vous que chaque action, chaque décision prise au quotidien, s'aligne sur cette stratégie ?
Comment créer une culture où chaque membre de l'équipe vise une amélioration constante pour atteindre cet objectif ?
C'est là qu'intervient le Cadre de Gestion des Performances.
8.1) Qu'est-ce que le Cadre de Gestion des Performances?
Il s'agit d'une approche structurée qui relie chaque niveau de performance – de l'individu à l'équipe, jusqu'à l'organisation entière – à la stratégie globale et à la planification.
Plutôt que de voir la performance comme une évaluation annuelle isolée, cette approche la considère comme un continuum, une culture.
8.2) Caractéristiques clés
Voici les 3 caractéristiques clés :
- Alignement stratégique : Toutes les activités et objectifs sont définis en fonction de la stratégie globale. Si une action ne s'aligne pas sur la stratégie, elle est reconsidérée
- Création d'une culture de performance : Il ne s'agit pas seulement de mesurer la performance, mais de la valoriser. Chaque membre est encouragé à s'auto-évaluer, à chercher des opportunités d'amélioration et à s'aligner sur les objectifs globaux
- Amélioration continue : Comme le principe d'Amélioration Continue des Services (CSI) dans ITIL, ici, plutôt que de viser la perfection, l'accent est mis sur le progrès. La performance est vue comme un voyage, où chaque étape, chaque apprentissage, est valorisé.
8.3) Pourquoi adopter ce cadre?
Le principal avantage de ce cadre est qu'il garantit que toutes les actions sont entreprises dans le but d'atteindre les objectifs stratégiques de l'organisation.
Il crée une culture où la performance n'est pas quelque chose que l'on craint, mais quelque chose que l'on valorise.
Chaque échec est vu comme une opportunité d'apprendre et chaque succès comme une étape vers la réalisation de la vision globale.
En résumé :
Le Cadre de Gestion des Performances est essentiel pour toute organisation qui souhaite garantir que ses ressources, ses efforts et ses activités s'alignent sur sa vision et sa stratégie.
Il transforme la performance en une culture, assurant une amélioration continue et un déplacement cohérent vers les objectifs définis.
9) Évaluations d'Impact Randomisées (Randomized Control Trials, RCTs)
Imaginons que nous soyons à la tête d'une organisation cherchant à améliorer la qualité de l'éducation dans les écoles rurales grâce à une nouvelle méthode pédagogique.
Comment pourrions-nous savoir avec certitude si cette méthode est réellement efficace ou si les améliorations observées sont simplement le résultat d'autres facteurs externes ?
C'est ici que les Évaluations d'Impact Randomisées (RCTs) entrent en jeu.
9.1) Qu'est-ce qu'une Évaluation d'Impact Randomisée ?
Il s'agit d'une approche de recherche rigoureuse utilisée pour déterminer le véritable impact d'une intervention spécifique.
Les RCTs sont souvent appelées "la norme d'or" en matière d'évaluation d'intervention, car elles offrent des preuves solides sur ce qui fonctionne et ce qui ne fonctionne pas.
9.2) Comment ça fonctionne ?
Voici comment les Évaluations d'Impact Randomisées fonctionnent comme suit:
- Sélection aléatoire : Les participants sont divisés en 2 groupes de manière aléatoire : un groupe témoin (qui ne reçoit pas l'intervention) et un groupe expérimental (qui reçoit l'intervention)
- Mise en œuvre : L'intervention est appliquée uniquement au groupe expérimental
- Évaluation : À la fin de l'intervention, les résultats des 2 groupes sont comparés. Si le groupe expérimental montre des améliorations significativement supérieures à celles du groupe témoin, cela suggère que l'intervention a eu un effet positif
9.3) Pourquoi les RCTs sont-elles si importantes ?
L'avantage principal des RCTs est qu'elles éliminent la plupart des biais qui pourraient fausser les résultats.
Par exemple, si nous revenons à notre scénario d'éducation, supposons que les écoles qui adoptent la nouvelle méthode pédagogique sont également celles qui ont des enseignants plus motivés.
Sans un groupe témoin, nous pourrions faussement attribuer les améliorations à la nouvelle méthode alors qu'elles sont en réalité dues à la motivation des enseignants.
Les RCTs nous aident à isoler l'effet de l'intervention des autres facteurs.
En résumé :
Les Évaluations d'Impact Randomisées offrent une manière solide et rigoureuse d'évaluer l'efficacité d'une intervention.
Bien qu'elles puissent être coûteuses et nécessiter une planification minutieuse, les RCTs fournissent des preuves solides qui peuvent guider les décisions des décideurs, garantissant que les ressources sont utilisées de manière efficace pour maximiser l'impact positif.
Conclusion
Dans le vaste monde du développement et de la mise en œuvre de projets et de programmes, il n'existe pas de "taille unique" en matière de cadres de suivi et d'évaluation.
Au contraire, l'efficacité d'un cadre repose souvent sur sa capacité à être adapté et combiné avec d'autres outils pour répondre aux besoins spécifiques d'une initiative particulière.
L'utilisation combinée de ces cadres, allant du Cadre Logique à l'Évaluation d'Impact Randomisée, permet une approche multidimensionnelle qui capture à la fois les éléments quantitatifs et qualitatifs d'un programme.
Par exemple, alors qu'un Cadre Logique pourrait offrir une vision claire des résultats attendus et de la manière dont ils sont liés, la technique "Most Significant Change" pourrait donner vie à ces résultats en recueillant des histoires de changement significatives parmi les bénéficiaires.
La clé de la réussite réside dans la sélection judicieuse du cadre ou de la combinaison de cadres adaptés.
Cette décision doit prendre en compte :
- Les questions spécifiques que l'évaluation cherche à répondre
- Le contexte unique dans lequel l'intervention se déroule
- Les ressources disponibles pour le suivi et l'évaluation
- Les attentes et les besoins des différentes parties prenantes
Par exemple, une intervention dans un contexte de conflit nécessiterait probablement une approche différente de celle utilisée dans un contexte de développement économique stable.
En fin de compte, la valeur de ces cadres ne réside pas seulement dans leur capacité à mesurer les résultats, mais aussi dans leur pouvoir :
- d'éclairer les décideurs
- d'adapter les interventions en temps réel
- d'assurer que chaque effort, chaque ressource et chaque intention se traduisent par un impact maximal sur le terrain
