-
Objectifs de l’évaluation
1.1 Objectif général de l’évaluation
Le projet a permis de renforcer le partenariat entre Expertise France et l’OOAS tout en répondant à une demande des États Membres dans un contexte sanitaire difficile. Les actions développées, dans l’urgence de répondre à la crise Covid-19, ont été menées selon la planification initiale. La collaboration étroite entre Expertise France et l’OOAS via le dispositif d’assistance technique mis en place, a permis d’atteindre les résultats attendus du projet et de faire émerger d’autres besoins de renforcement de capacités au sein de l’OOAS.
En outre, à la fin du projet, l’OOAS a communiqué à Expertise France en avril 2021 une demande pour un éventuel nouvel accompagnement de la France pour des actions de communication dans le cadre de la riposte à la COVID-19 en Afrique de l'Ouest.
Afin d’examiner au mieux cette demande, au vu du contexte sanitaire et politique qui a évolué depuis, et tenant compte de son intention de renforcer ses liens avec les organisations régionales africaines de santé, Expertise France souhaite commanditer une évaluation finale de ce projet d’appui à l’OOAS qui se donne deux objectifs principaux :
-
Apprécier la performance du projet vis-à-vis des 6 critères définis par l’OCDE/CAD (pertinence, cohérence, efficacité, efficience, impact et durabilité). Ces critères sont également recommandés par l’AFD avec la prise en compte de la dimension genre, et retenus par Expertise France (c.f grille d’évaluation d’Expertise France dont une copie sera transmise aux expert.e.s en charge de l’évaluation), et en particulier:
-
Documenter les succès observés mais aussi les défis à relever;
-
Documenter et valoriser les savoirs acquis;
-
Mettre en commun les réalisations (outils, méthodologies);
-
Tirer des enseignements sur la pertinence du mode opératoire développé dans le cadre de la démarche d’appui opérationnel et stratégique et sur la logique d’intervention - y compris le rôle de chacun des acteurs - et d’apprécier les effets de l’assistance technique, dans le but d’une appropriation, utilisation, adaptation, enseignement et capitalisation pour EF et les autres partenaires concernés et institutions qui seraient intéressées.
-
D’évaluer les perspectives futures pour EF pour la continuation du soutien à cette thématique dans le cadre des intérêts stratégiques de l’OOAS afin de proposer des recommandations opérationnelles et stratégiques dans une perspective de coopération future.
-
Ceci comprendra également l’examen des liens de coopération entre les parties prenantes du projet (en particulier la façon dont le projet a été monté, la distribution des rôles et mandats entre les partenaires, les périmètres d’intervention respectifs, etc.).
Pour ce faire, Expertise France propose de mobiliser un-e expert-e en évaluation indépendant qui procédera au bilan du projet avec les 3 objectifs spécifiques décrits ci-dessous.
1.2 Objectifs spécifiques de l’évaluation
La mission aura 3 objectifs spécifiques :
1 - Evaluer le projet selon les critères d’évaluation OCDE/CAD : évaluer/capitaliser sur les résultats du projet, dans le domaine de la communication grand public en situation de crise sanitaire. Il s’agira de valoriser les changements et les effets observés suite à l’intervention du projet et de montrer de quelle façon le projet a contribué pour l’OOAS à structurer une réponse. En résultat, cet axe devrait permettre de mieux saisir si le projet a contribué plus globalement à l’objectif de déploiement par l’OOAS d’une stratégie de communication en situation de crise sanitaire et déterminer des axes d’amélioration et des recommandations à ce niveau.
2 - Evaluer la modalité d’investissement de l’organisation par la France (quelle efficacité de la modalité assistance technique ?) et le renforcement du partenariat établi entre Expertise France et l’OOAS. Il s’agira de caractériser et d’apprécier l’assistance technique portée à l’organisation dans le cadre du projet en documentant les bonnes pratiques et les leçons apprises et en dressant un bilan opérationnel des activités déployées. Le consultant s’intéressera à la méthodologie et approche utilisées, aux outils produits, aux résultats des activités (enquêtes, formations, etc.), à l’atteinte des indicateurs et cibles préalablement définis, etc. En résultat, ce travail devrait permettre d’apprécier de quelle façon les besoins opérationnels initiaux ont été effectivement couverts.
3 - Formuler des recommandations concernant les pistes de futures relations/coopération avec l’OOAS. En résultat, cet axe devrait permettre de mieux saisir les capacités de collaborations et d’opportunités de travail avec l’OOAS.
1.3 Résultats attendus
-
Les bénéfices et les manquements du projet au niveau opérationnel et stratégique sont évalués :
-
Le renforcement de capacités des Etats membres et de l’OOAS en matière de communication de la santé est évalué.
-
L’impact des outils de communication développés et des formations déployées auprès des Etats Membres est évalué.
-
L’apport stratégique d’investissement du niveau régional et sous-régional pour l’élaboration d’une stratégie de communication en situation de crise sanitaire est évalué et des recommandations pour renforcer le partenariat entre Expertise France et l’OOAS sont élaborées.
-
L’intérêt de poursuivre la collaboration entre l’OOAS et Expertise France sur ces mêmes thématiques ou d’autres thématiques est évalué (coût, personnes ressources, temps, objectifs).
Les questions évaluatives à formuler par le/la consultant.e dans sa proposition technique et financière devront permettre de répondre à ces trois objectifs en prenant en compte le cadre logique du projet.
1.4 Les utilisateurs ciblés par cette évaluation
Plusieurs personnes internes et externes à Expertise France seront associées au processus d’évaluation et seront consultées pour contribuer et alimenter le processus :
-
Les équipes terrain et siège d’Expertise France (DEPSAN);
-
Les partenaires de mise en œuvre du projet (OOAS, pays de la CEDEAO ciblés) ;
-
Les participants aux formations des EM mobilisés et autres bénéficiaires;
-
Le consultant contractualisé dans le cadre des missions d’expertise technique ;
-
Les Ministères de la Santé Publique des EM concernés et en particulier les acteurs de la communication du Ministère de la santé dans les pays où ont eu lieu les activités du projet ;
-
Les acteurs du groupe régional CREC (Communication des Risques et Engagement Communautaire) de l’Afrique de l’Ouest, animé par l’Unicef ;
-
Les autres acteurs institutionnels ayant participé au projet (OMS, Unicef, etc.);
-
Le MEAE;
-
L’Ambassade de France au Burkina Faso.
-
Méthodologie
Le/La consultant.e travaillera en collaboration avec l’équipe d’Expertise France chargée de la mise en œuvre du projet d’« appui à l’OOAS », et avec l’OOAS.
Un comité de pilotage de l’étude, composé de membres de l’équipe projet d’Expertise France et de l’OOAS, préalablement identifiés, se réunira aux « moments clés » de l’évaluation pour approuver les termes de référence (avec le planning de la mission) en amont du démarrage de la mission, examiner les différents livrables, formuler des observations, arbitrer les propositions formulées, etc.
Une méthodologie basée sur une approche participative et inclusive guidera les réflexions. Elle sera axée sur :
-
Les revues documentaires (exploitation du document projet, de la grille d’évaluation Expertise France, des TDR et rapports d’activités et de missions, des revues de projets, et des outils développés par les partenaires, etc.).
-
Les entretiens semi-structurés et la tenue de focus groupe avec les parties prenantes (partenaires opérationnels, bénéficiaires, etc.).
-
Le recueil des témoignages auprès des bénéficiaires du projet (recueil de bonnes pratiques) sur les succès et les points d’amélioration des thématiques retenues.
PHASE DE CADRAGE
-
Après la notification du contrat, une réunion de cadrage se tiendra avec le comité de pilotage du projet afin de préciser les attentes, vérifier la bonne compréhension des termes de référence, ajuster les objectifs de la mission, affiner la méthodologie, sélectionner les diverses entités à rencontrer lors de la mission sur le terrain, définir les modalités de suivi et d’échange ;
-
Revue documentaire ;
-
Basée sur des entretiens préliminaires et sur une première analyse de la documentation disponible, une version provisoire d’une note de cadrage sera produite.
-
Version finale de la note de cadrage après révision par le comité de pilotage.
PHASE DE COLLECTE ET ANALYSE DOCUMENTAIRE
-
Analyse approfondie de la documentation ;
-
Entretiens avec les acteurs/partenaires du projet, en visio ou sur place (dont certains devront se tenir en anglais). Le/la consultant.e construira la liste des entretiens à mener en coopération avec le comité de pilotage de l’étude.
-
Mission terrain pour compléter et enrichir les informations recueillies dans la documentation existante ; confirmer/infirmer les hypothèses testées : entretiens d’acteurs, observations des pratiques, focus groups avec les bénéficiaires
[1], etc.
-
Réunion de cadrage : compte-rendu de mission, restitution « à chaud ». A l’issue de la mission, un débriefing « à chaud » sera réalisé auprès du comité de pilotage afin de présenter les résultats préliminaires de diagnostic et hypothèses / pistes de travail.
PHASE D’ANALYSE ET DE REDACTION/FINALISATION DES RAPPORTS
-
Exploitation, analyse et croisement des informations collectées;
-
Production des rapports jusqu'à validation par le comité de pilotage et de suivi;
-
Atelier de restitution pour présenter les résultats et les outils finaux formalisés : au terme de l’évaluation, un atelier de restitution sera organisé auprès du Comité de pilotage et de suivi. L’expert préparera les supports visuels pour engager les discussions (présentation PPT), en lien avec l’équipe d’EF.
-
Pilotage et animation
Consultance externe
L’évaluation finale sera confiée à une consultance externe dont le profil, rôle et responsabilité seront détaillés dans la proposition technique soumise lors de l’appel d’offre.
En charge d’orienter le processus de l’évaluation finale, ses rôles et responsabilités seront de:
-
Proposer une note de cadrage et une méthodologie;
-
D’effectuer l’évaluation conformément au cahier des charges en tenant compte des retours du comité de pilotage;
-
De produire les livrables demandés.
Pour ce faire, le/la consultant.e travaillera étroitement avec les membres du comité de pilotage et de suivi (voir ci-dessous). L’accompagnement par le/la consultant.e se fera sur l’ensemble de la période, tant à Paris que sur le terrain.
Comité de pilotage et de suivi
Les membres du comité de pilotage et de suivi seront en charge d’animer le processus de l’évaluation finale et de valoriser les résultats et les productions. Ce comité sera composé de:
Au siège:
Sur le terrain:
Leurs rôles et responsabilités seront de:
-
Insuffler une dynamique interne autour du projet de l’évaluation finale;
-
Identifier et proposer les questions évaluatives de l’évaluation finale;
-
Planifier la mise en œuvre des activités;
-
Organiser le processus « au quotidien »:
-
Coordonner les différents acteurs et parties prenantes ;
-
Coordonner la conduite des activités qui pourront être réalisés en interne, etc.
-
Assurer la valorisation et la diffusion des résultats et des productions, aussi bien en interne, dans une logique de conduite du changement, qu’en externe vers les partenaires d’EF.
-
Livrables attendus
-
Une note de cadrage sera commentée et validée par les parties prenantes au projet. Elle servira de guide méthodologique tout au long de la mission. Elle comprendra notamment :
-
La méthodologie proposée par le/la consultant.e (modalités de recueil et d’exploitation des informations, etc.) ;
-
La liste des personnes ressources à rencontrer/ consulter ;
-
Un calendrier prévisionnel détaillé ;
-
Les supports envisagés pour une présentation visuelle synthétique des analyses et recommandations, etc.
-
Un rapport provisoire et un rapport final d’évaluation qui pourra s’articuler autour du plan indicatif suivant :
-
Un rappel des objectifs et résultats attendus de la mission ;
-
Une présentation du contexte de la mission ;
-
Les modalités générales de déroulement de la mission et les difficultés éventuelles rencontrées;
-
Une présentation de la méthodologie adoptée (collecte et analyse des données) et de ses limites;
-
Principaux résultats ;
-
Les analyses et leçons apprises ;
-
Conclusions et recommandations ;
-
Les annexes : termes de référence, calendrier de la mission, liste et contacts des personnes rencontrées/ consultées, liste de la documentation exploitée et des outils utilisés pour la collecte de données (questionnaires, guides d’entretiens, guides d’observation, etc.), compte-rendu des entretiens et ateliers réalisés avec les parties-prenantes, etc. ainsi que tout autre document participant à la compréhension du rapport.
-
Un document de communication
Une synthèse qui reprend les principales parties du rapport et un Power Point de restitution seront produits. Ces deux documents devront obéir aux indications de la charte éditoriale d’Expertise France dont une copie sera transmise au/à la consultant.e.
Principes généraux :
-
Les livrables doivent être rendus en langue française, en version numérique (sous format word), et devront inclure un résumé analytique et des figures de synthèse des éléments d’analyse principaux et recommandations (sous forme de tableaux, graphiques, autres figures…).
-
Les livrables sont la propriété de Expertise France.
Des échanges auront lieu tout au long de la mission afin de préciser la structure, le contenu et le format des livrables.
-
Chronogramme
La mission de l’évaluation finale pourra être étalée entre août et septembre 2023. Après la phase d’appropriation et de préparation, une mission sur le terrain sera organisée.
Le volume effectif des prestations de l’expert est estimé à 25 jours (y compris une mission terrain au Burkina Faso), répartis comme ci-dessous (à titre indicatif):
-
Préparations/revue documentaire/collecte: 5 jours
-
Collecte/analyse : 15 jours
-
Analyse/rédaction/restitution : 5 jours.
Expertise France aura 10 jours ouvrés pour proposer ses retours sur le rapport provisoire. Une version révisée/ finale du rapport devra être envoyée au plus tard 5 jours ouvrés après la réception des retours.
-
Organisation de la mission
Lieu : Ouagadougou et/ou Bobo Dioulasso, Burkina Faso.
Equipement
La personne recrutée devra être équipée des moyens nécessaires à la réalisation des prestations. Une salle de réunion pourra être mise à disposition au besoin afin d’assurer les différentes rencontres avec les partenaires et le comité de pilotage et de suivi (avec réservation préalable nécessaire).
Moyens de communication
La personne recrutée devra être autonome en matière de communication (téléphone et internet). L’expert.e intègre les charges de communication (téléphone et internet) afférentes à l’étude dans sa proposition financière.
Déplacements
Les déplacements sur le terrain peuvent être assurés par un véhicule d’Expertise France de manière ponctuelle et le bureau d’Expertise France à Ouagadougou peut appuyer le consultant dans l’identification d’un prestataire pour ses déplacements.
Des entretiens par visioconférence pourront être organisés par l’expert.e en fonction des besoins (par exemple si nécessité de rencontrer des interlocuteurs dans plusieurs pays membres).
Formalités administratives
L’expert.e devra s’acquitter des formalités administratives en matière de visas, de vaccins et d’assurances.
Sécurité
L’expert.e est tenu de respecter l’ensemble des consignes de sécurité d’Expertise France. Un briefing sécurité sera organisé par le Référent Sécurité en début de mission. Les visites sur le terrain se feront sous la responsabilité du Chef des projets santé, la personne recrutée sera dans la mesure du possible accompagnée par un membre du staff Expertise France pendant toute la durée de sa mission.
[1] La méthodologie d’approche et les questions à poser seront à la charge de l’expert qui devra les présenter en amont à Expertise France pour validation. Ces focus group permettront de collecter des informations sur les effets des interventions.
A - Informations générales
Intitulé de la mission: évaluation finale externe du projet
Organisation - pays: OOAS basée au Burkina Faso
Type de contrat: contrat de prestation de services
Date prévisionnelle de la mission: août / septembre 2023
A1 - Présentation d’Expertise France et de l’OOAS
Expertise France est l’agence française de coopération technique internationale, placée sous la double tutelle du ministère de l'Europe et des Affaires étrangères (MEAE) et du ministère de l’Économie et des Finances (MINEFI). Elle a pour objectif de renforcer les capacités de ses partenaires pour définir, piloter et mettre en œuvre des politiques publiques adaptées aux besoins des populations. Ainsi, Expertise France dispose et développe des conventions de coopération, dans le cadre des actions de coopération internationale, avec de nombreuses sources d’expertise publiques ou privées.
Créée en 1975, la Communauté économique des États de l'Afrique de l'Ouest (CEDEAO) regroupe quinze États Membres (EM)
[1]. En 1987, dans le cadre de l’harmonisation de ses agences de santé, elle mandate par protocole l’Organisation Ouest Africaine de la Santé (OOAS) pour devenir son agence spécialisée sur les enjeux sanitaires et de santé. L’organisation se donne pour objectif d’« offrir le niveau le plus élevé en matière de prestation de soins de santé aux populations de la sous-région sur la base de l’harmonisation des politiques des États Membres » (article III du protocole).
Dans le cadre de la riposte à la pandémie de Covid-19, les ministères de la santé des EM ont rapidement fait remonter à l’OOAS leur difficulté à délivrer une communication adéquate à destination de leur population. L’organisation a ainsi tenu à définir une stratégie globale en direction des EM, leur permettant de délivrer une communication particulière à la pandémie de Covid-19 et adaptée aux spécificités des pays. L’objectif visé étant de réussir à recueillir au maximum le consentement et la compréhension des populations aux directives nationales (connaissance des effets de la maladie, des gestes barrières, adhésion aux messages de promotion de traitements, etc.) et d’opérer ainsi un réel changement de comportement des communautés.
Dans ce contexte, des discussions engagées au plus tôt de la pandémie, dès le premier semestre 2020, entre l’OOAS et Expertise France (EF) ont permis d’aboutir aux besoins suivants :
-
Renforcement des connaissances des EM sur les représentations de leurs populations de l’épidémie de Covid-19 ;
-
Mise à disposition des EM de moyens opérationnels pour délivrer une communication adaptée ;
-
Appui à l’élaboration d’une stratégie régionale de communication de crise à destination des pays de la CEDEAO, au travers de formations, d’échanges et de mutualisation de bonnes pratiques.
Le projet d’« appui à l’OOAS sur les aspects communicationnels liés à la pandémie de Covid-19 et l’élaboration d’une stratégie de communication sur la maladie dans les pays de la CEDEAO » a permis de mobiliser une assistance technique engagée par EF auprès de l’OOAS.
A2 - Description du projet (phases 1 et 2)
Pour atteindre l’objectif global d’appui à l’OOAS dans la mise en place d’une stratégie de communication adaptée aux Etats Membres (EM) pour la gestion de la pandémie de COVID 19, permettant de recueillir l’adhésion de leur population aux mesures de prévention, le projet prévoyait:
- La conception et mise à disposition des EM d’un kit de communication adapté aux trois langues officielles de la CEDEAO (Français, Anglais et Portugais).
- L’élaboration d’une enquête socio-anthropologique sur les représentations liées à la COVID 19 auprès d’un échantillon de 5 pays représentatifs.
- L’adaptation des plans de communication selon les résultats de l’enquête.
- La délivrance de formations à la communication des risques en santé dans six pays.
Les actions ont été mises en œuvre en deux phases : de juillet à décembre 2020 pour la première et de janvier à décembre 2021 pour la seconde.
Détails des activités de la phase 1, du 01/07/2020 au 31/12/2020:
- Elaboration d’un kit de communication adapté à la crise Covid-19, tenant compte des spécificités des pays ciblés, et dont l’OOAS pouvait se saisir dans le cadre de ses liens avec les Etats Membres. Ce kit mis à disposition des EM et téléchargeable gratuitement, a été présenté lors de webinaires en 3 langues aux EM (automne 2020), et comprend la production de 13 outils de communication traduits dans trois langues (français, anglais portugais) et destinés aux ministères de la Santé des pays de la CEDEAO (affiches, flyers et vidéos) : 3 vidéos basées sur des entretiens avec des médecins de la région CEDEAO (un francophone et un anglophone), 6 vidéos d’animation, 5 affiches, 5 posters, 1 brochure Q&R et 1 flyer.
- La réalisation d’un rapport d’étude synthétisant l’état des lieux des messages et une enquête socio-anthropologique pour étudier les représentations de la population sur la Covid-19 dans cinq pays de la CEDEAO (Burkina Faso, Côte d’Ivoire, Sierra Léone, Guinée Bissau et Cap Vert) et pour définir une stratégie de communication basée sur ces représentations. Le rapport identifie les besoins communs et spécifiques d’appui pour les pays et propose une stratégie et des messages de communication.
Détails des activités de la phase 2, du 01/01/2021 au 31/12/2021 :
La seconde phase a consisté à organiser des ateliers de formation à la communication en santé pour la riposte au Covid-19 dans cinq pays. Les 5 ateliers qui visaient à valoriser les outils réalisés en phase 1 via le développement de formations à la communication santé ont été mis en œuvre dans les pays suivants :
-
Côte d’Ivoire (16-17 juin 2021, 42 participants)
-
Sénégal (21-22 juin 2021, 38 participants)
-
Burkina Faso (24-25 juin 2021, 28 participants)
-
Gambie (16-17 novembre 2021, 42 participants)
-
Guinée-Bissau (14-15 décembre 2021, 25 participants)
Les participants à ces formations ont été sélectionnés par les Ministères de la santé des Etats Membres de façon à ce que toutes les régions sanitaires des pays d’intervention soient représentées, ainsi que les partenaires techniques et financiers tels que l’OMS et l’UNICEF. Les séminaires se sont inscrits dans une démarche de communication basée sur la culture en santé des populations cibles. La première journée s’ouvrait sur l’importance d’une communication pertinente afin de favoriser une confiance envers un programme de santé publique. La deuxième journée était consacrée à la Covid-19 avec une introduction sur la vaccination. Les évaluations post-ateliers ont été réalisées et analysées, et les suggestions des participants ont été transcrites pour être intégrées dans les perspectives de poursuite du projet.
A3 - Résultats attendus du projet
Les résultats initialement poursuivis étaient les suivants :
1 Benin, Burkina-Faso, Cap Vert, Côte d’Ivoire, Gambie, Ghana, Guinée, Guinée-Bissau, Liberia, Mali, Niger, Nigeria, Senegal, Sierra Leone, Togo.
