Evaluation externe du Programme d’Appui au Système de Santé du Sud-Kivu, PASS at Swiss Agency for Development and Cooperation

La Coopération Suisse en République Démocratique du Congo (DDC) mandate des consultants expérimentés pour mener une évaluation du Programme d’Appui au Système de Santé du Sud-Kivu, PASS.  

1. Informations générales et contexte de l’évaluation

La Suisse s’est engagée, dans la Stratégie de coopération pour la région des Grands Lacs 2022-2025, à accompagner la région dans ses capacités à partager et valoriser ses richesses et potentialités, pour permettre aux populations et communautés, en particulier les jeunes et les femmes, à relever les enjeux démographiques, environnementaux et socio-économiques dans le respect des droits humains pour l’atteinte des objectifs de développement durables (ODD).

Les thématiques prioritaires de la Suisse pour 2022-2025 incluent (i) la gouvernance, protection des civils et prévention des conflits ; (ii) santé et nutrition, et (iii) emploi et développement économique. Dans son sous-objectif 2, la Suisse vise à améliorer l’état de santé et du bien-être des populations les plus vulnérables à travers son Programme d’Appui au Système de Santé du Sud-Kivu, PASS.

Le Programme d’Appui au Système de Santé du Sud-Kivu cherche à atteindre cet objectif en promouvant la couverture sanitaire universelle. Le programme vise à assurer un paquet minimum de services de qualité accessible équitablement et durablement par toute la population. Il est articulé autour des principaux axes stratégiques suivants :

Axe 1 – Amélioration de la qualité des services de santé : L’offre et la demande des services de santé sont augmentées, grâce à une amélioration de la qualité des services de santé. En particulier la provision de services de qualité en faveur de la santé maternelle (inclus santé sexuelle et reproductive,) et de l’enfant ainsi que l’état nutritionnel et psychologique de la population dans les zones de santé appuyées, sera renforcée. Outre la qualité, les services doivent être culturellement acceptables, et adaptés aux jeunes, ‘gender transformative’, intégrés au niveau communautaire et accessibles pour les ménages les plus pauvres. La Suisse soutient l’accès des populations vulnérables – en particulier les femmes, les enfants et les personnes affectées– à des services de santé de qualité. Le programme met l’accent sur les soins de santé et la lutte contre la malnutrition. Ceci est fait dans un cadre de coordination technique et de renforcement des capacités des services de santé au niveau local.

Axe 2 – Renforcement de la bonne gouvernance du secteur de la santé au niveau décentralisé : Un système de santé fonctionnel et résilient passe par une bonne gouvernance et un financement durable du secteur. Le PASS se concentre principalement sur le niveau décentralisé (provincial, zones de santé et formations sanitaires). Afin de réduire les pertes et améliorer l’allocation des ressources, accroître la transparence et lutter contre la corruption, les actions visent à renforcer les capacités institutionnelles des partenaires étatiques et non étatiques, tel que la participation communautaire dans la planification et l’implication des femmes dans les organes de gestion. Ceci grâce à (i) la révision du mécanisme actuel du Financement basé sur la Performance (FBP) avec des indicateurs à tous les niveaux du système de santé ; (ii) le renforcement du système d’approvisionnement des médicaments à travers la centrale de distribution régionale (CDR) et (iii) le renforcement des organes de régulation à tous les niveaux de la pyramide sanitaire.

Axe 3 – Surveillance épidémiologique et riposte aux épidémies et aux urgences sanitaires : Dans le cadre de la mise en œuvre du Règlement Sanitaire International (RSI), les activités de recherche (laboratoire de santé publique), développement des capacités de surveillance épidémiologique et de réponse aux épidémies et catastrophes au niveau local/communautaire sont priorisées. Les mesures de prévention et dépistage sont renforcées particulièrement dans les zones et territoires sensibles et au niveau communautaire.

Les thèmes transversaux : En plus d’être des axes d’intervention prioritaires de la phase 5, la bonne gouvernance, le PSEAH et l’égalité du genre sont intégrés et adressés de manière transversale à travers tout le programme. Des actions et indicateurs spécifiques en matière de VIH/Sida, Genre et Gouvernance ont été développées. Les activités de prévention et de dépistage des maladies transmissibles sont appuyées dans et autour des carrés miniers artisanaux riverains des zones de santé d’intervention du programme. La transparence et la coordination (contrat unique) parmi les donateurs ont été favorisées. Dans la logique du principe « do no-harm », le système d’analyse contextuelle régulier et le dialogue politique en coordination avec tous les intervenants ont servi de base pour développer un Conflict Sensitive Programme Management (CSPM).

Le programme PASS Sud-Kivu qui fait l’objet de cette évaluation vise un appui systémique « par le bas » avec un focus géographique très marqué. C’est un programme qui vient en appui à la Stratégie de Renforcement du Système de la Santé (SRSS) et du Plan national de développement sanitaire (PNDS) au niveau décentralisé. Il s’aligne parfaitement avec la Stratégie pour la région des Grands Lacs 2022-2025 de la Coopération Suisse et la politique extérieure Suisse en matière de santé. Le programme contribue à atteindre les cibles des objectifs de l’Agenda 2030.

La phase actuelle a été planifiée en 2021, en ajoutant aux acquis des phases précédentes, des éléments d’analyse en économie politique sectorielle. Une étude mandatée par la DDC en Economie Politique du Sud-Kivu[1] essaie d’extrapoler les éléments, équilibres et motivations personnelles qui dictent le fonctionnement (voire dysfonctionnement) du système de santé (déviance entre le cadre normatif et le fonctionnement réel). Les thématiques telles que la tarification des soins, le circuit des médicaments, les mutuelles de santé, la coordination des appuis au niveau de la province (transparence) ou bien la gestion des ressources humaines sont particulièrement sensibles.

La Phase V du PASS (01.05.2021-31.12.2025) est mise en œuvre dans 10 zones de santé (ZS) par GIZ (les ZS de Kaziba, Minova, Mubumbano, Mwana, Nyangezi, Nyantende, Ruzizi et Uvira) et Caritas Congo dans 2 ZS (Kalehe et Kirotshe). Cependant d’autres contributions ont été faites de manière ponctuelle jusqu’à mi 2024. Pour lutter contre l’épidémie à Mpox, une contribution financière a été faite à Unicef fin 2024 pour financer des activités de prévention et prise en charge des cas dans la province du Sud-Kivu.

Le budget total la Phase V du PASS s’élève à 11.7 millions de francs suisses. Le nouveau programme de coopération de la DDC pour la RDC 2026-2029 est en cours de préparation. A priori la thématique santé est maintenue dans l’axe thématique « santé et services de base » avec un focus sur la santé mère et enfant.

Objectif de l’évaluation

L’évaluation devra fournir les analyses nécessaires à l’équipe de la DDC et ses partenaires pour décider du contenu et focus de la suite des interventions et appuis suisses dans le domaine de la santé (y compris des modifications pour la Phase programmatique PSaMI 2024-2028).

Portée

L’ampleur et la profondeur de l’évaluation seront déterminées par les questions indicatives auxquelles l’évaluation cherche à répondre (voir chapitre ci-après). L’évaluation portera sur l’impact du programme sur le système de santé du Sud-Kivu et sur la santé des populations bénéficiaires dudit programme. La période est limitée à/depuis 2021-2025 (Phase V du PASS), du 01.05.2021 au 31.12.2025. L’étendue géographique correspond aux zones de santé de Kalehe, Kaziba, Kirotshe, Minova, Mubumbano, Mwana, Nyangezi, Nyantende, Ruzizi et Uvira.

Orientation

L’évaluation du Programme PASS doit observer les critères du CAD de l’OCDE : pertinence, cohérence, efficacité, efficience, impact et durabilité. La priorité et l’exclusion de certains critères doivent être explicitement mentionnées dans l’offre du consultant et dans le rapport d’évaluation final.

Questions d’évaluation indicatives / domaine d’intervention prioritaire

Le processus d’évaluation se fera en trois étapes (i) d’analyse et revue, avec les recommandations préliminaires ; (ii) de décision par le management de la DDC et (iii) des adaptations possibles de la phase actuelle du PSaMI ou d’autres projets en cours dans le domaine de la santé.

Etape 1, ANALYSE et PERPSECTIVE en accord avec le document de projet et ses annexes, l’analyse devra informer sur la performance du programme. Ainsi, le cadre d’analyse se référera aux critères OCDE/DAC de pertinence, d’efficacité, d’efficience, d’impact et de durabilité du programme. L’analyse identifiera les résultats obtenus (attendus et inattendus), les contraintes rencontrées, les leçons apprises et les perspectives d’atteindre des résultats attendus. En particulier, l’évaluation s’intéressera aux questions suivantes :

1. Pertinence de l’approche systémique décentralisé : dans le contexte des programmes verticaux et des stratégies de mise en œuvre d’autres bailleurs au Sud-Kivu, évaluer la pertinence de l’approche d’appui holistique décentralisé sans ancrage au niveau central, adoptée par la DDC. Proposer des pistes de capitalisation de l’expérience DDC dans une perspective d’approches multisectorielle et intégrée qui convolent à la fois des réponses à des situations de crise et de renforcement des systèmes de santé dans un contexte de fragilité. Réfléchir aux options pour institutionnaliser / pérenniser les mécanismes d’appui techniques fournis par le programme (refreshers ; formation spécifiques, crisis modifiers, etc.) dans une optique de formation continue.
2. Gouvernance décentralisée : L’évaluation déterminera la valeur ajoutée de l’approche systémique promue par le PASS (équilibre et interaction entre l’Inspection Provinciale de la Santé, structure déconcentrée, qui représente le niveau national, le ministère provincial en charge de la santé et la Division Provinciale de la Santé, qui sont des structures décentralisées). L’évaluation indiquera comment le travail avec le SUN, l’UNICEF et autres agences (PAM, OMS, FAO) et projets DDC (par ex. projet Nutrition, santé d’urgence) s’articule pour la nutrition. A examiner aussi pour la nutrition – la cohérence avec d’autres projets DDC, l’efficacité des mesures pour la nutrition (si mesures spécifiques pour améliorer l’état nutritionnel) et l’utilisation des ressources pour y parvenir. Dans quelle mesure le projet est-il aligné avec d'autres programmes de la DDC dans le pays/la région (Grands Lacs, SUN, etc.) ? Comment les synergies et collaborations avec d'autres programmes pourraient-elles être améliorées pour la nutrition (dans différents secteurs – santé mais éventuellement autres points d’entrée comme agriculture, protection sociale, éducation-nutrition dans les écoles (activités spécifiques à la nutrition + interventions sensibles à la nutrition) ? Quelles sont les activités les plus prometteuses obtenues en termes de contribution à améliorer l’état nutritionnel ?
3. Intégration de l’aspect genre dans le programme :le programme, tout en n’ayant pas d’objectifs sexo-spécifiques ni de stratégies explicites par rapport au genre, a soutenu la présence féminine dans les organes communautaires pour la gestion des services de santé, avec des impacts probables quant à l’amélioration de la qualité des soins. Dans les organes communautaires le pourcentage de femmes est passé depuis 2015 de 15 à 40%, au niveau des zones de santé de zéro à 3% et au niveau de l’inspection de la santé/division provinciale de la santé de 28 à 21 %.
4. Cadre de suivi et évaluation, attribution des résultats : l’alignement au cadre national des indicateurs retenus dans le cadre de monitorage et évaluation du programme peut rendre difficile l’analyse en continu de la pertinence des activités et stratégies d’appui. On demande au consultant de réfléchir à un cadre de monitorage alternatif qui pourrait être utilisé dans le cadre du PSaMI, et qui permette de générer les informations nécessaires au programme afin d’analyser la pertinence et l’efficience des stratégies spécifiques (par output) en continu. Ceci permettrait aussi à la DDC de communiquer (et s’attribuer) des résultats spécifiques dégagés par ses appuis techniques et financiers au système.
5. Etudier le montage institutionnel et les modalités de travail et collaboration avec les instances et partenaires du secteur Santé. Une triangulation avec le Programme Santé Maternelle et Infantile (PSaMI) actuellement mis en œuvre est nécessaire. Il en est de même pour le programme Nutrition mis en œuvre par Unicef, FAO et PAM dans le territoire de Kalehe. L’analyse devra fournir les éléments suffisants pour confirmer ou adapter l’un ou l’autre modèle de travail du PSaMI. Sur la base des analyses, le/la consultante(s) fournira (ont) donc des recommandations pour le développement futur du programme de coopération 2026-2029, avec si possible des scénarios probables. Les différentes pistes identifiées seront présentées lors du débriefing sous forme d’atelier, et ensuite, spécifier les modifications choisies dans le rapport d’évaluation.

En annexe, certaines questions en lien avec les critères OCDE seront complétées par l’équipe d’évaluation.

Etape 2, DECISION consistera en un appui à l’équipe de la DDC dans le processus de prise de décision. Notamment, le management de la DDC à Bukavu devra – sur la base des informations analytiques et pistes concrètes pour la phase actuelle du PSaMI fournies dans l’Etape 1 du processus - décider des options programmatiques. Il s’agira donc pour la DDC de formuler dans une « management response » les lignes stratégiques à suivre pour la suite des phases opérationnelles du PSaMI (phases actuelle et future).

Etape 3, PLANIFICATION. Sur la base des analyses de l’étape 1, des décisions et options choisies pendant l’étape 2, l’étape 3 consistera à proposer les pistes concrètes pour la phase actuelle du PSaMI avec indicateurs du cadre logique révisés pour cadrer les collaborations avec les partenaires de mise en œuvre. Pour faire cela, les évaluateurs devront analyser les deux cadres logiques (PASS et PSaMI).

3. Processus et méthodes d’évaluation

Méthodologie de l’évaluation

L’équipe d’évaluation proposera la méthodologie de travail à la DDC.

Rôles et responsabilités de l’évaluateur ou des évaluateurs

L’évaluation sera menée par une équipe composée d’un ou des consultants international/aux accompagné d’un/des consultant/s local/aux. La responsabilité globale sera confiée au consultant international, lequel agira comme chef d’équipe. Le consultant international aura un contrat avec la DDC et, en tant que chef d’équipe, sous-traitera avec le consultant local. Le consultant international rendra des comptes à la DDC à Bukavu.

Processus et calendrier d’évaluation

Le calendrier sera discuté avec le(s) consultant(s), mais le travail sera effectué sur une période d’environ 90 jours entre début juillet et fin octobre.

4. Réalisations attendues

Les produits ci-après sont attendus :

A) Rapport initial:

• une description de l’intervention ;
• un résumé des documents analysés ;
• des spécifications concernant la méthodologie d’évaluation (y compris ses points forts et ses limites) et les questions d’évaluation ;
• un cadre analytique pour répondre aux questions d’évaluation avec des rubriques ou des barèmes qui seront utilisés pour apprécier les informations, les sources de données et la collecte, l’échantillonnage et les indicateurs clés ;
• le(s) cadre(s) conceptuel(s) à utiliser dans l’évaluation (y compris un projet de théorie du changement) ;
• le calendrier proposé ;
• les résultats de la première série d’entretiens et de l’examen documentaire ;
• une première liste des personnes interrogées ;
• les premières constatations (le cas échéant);
• la proposition de structure du rapport d’évaluation.

Le rapport initial est normalement requis après la première phase des entretiens, de l’analyse des documents et de l’organisation des visites sur le terrain, mais avant l’étude de terrain proprement dite. Il doit être remis au plus tard à un tiers de la période d’évaluation totale (généralement dix pages maximum).

B) Atelier de débriefing

Après la mission sur le terrain, les consultants doivent organiser un atelier de capitalisation afin d’exposer les premières constatations, de discuter et recevoir les commentaires des parties prenantes au projet. Cet échange d’informations les aidera à rédiger le rapport d’évaluation.

C) Rapport d’évaluation initial

Le rapport d’évaluation doit présenter les constatations de l’évaluation, les conclusions et les recommandations. La DDC doit aussi impérativement donner un retour d’informations à l’évaluateur ou aux évaluateurs. Les parties prenantes doivent faire des commentaires sur le projet de rapport, en se concentrant sur les aspects suivants : exhaustivité, langue, structure, clarté et exactitude factuelle. Le ou les évaluateurs doivent finaliser le rapport en tenant compte de ces commentaires.

D) Rapport d’évaluation final

Le rapport doit être rédigé en français, structuré de manière logique, présenter des constatations factuelles, des conclusions, des enseignements et des recommandations ainsi que leurs corrélations. Toutes les informations qui ne sont pas pertinentes pour l’analyse globale figurent dans une annexe. Le rapport doit répondre en détail aux questions d’évaluation et se concentrer sur les domaines d’intervention prioritaires. Il doit comprendre un ensemble de six à dix recommandations spécifiques formulées pour le projet, et identifier les actions requises, les personnes qui doivent les mettre en œuvre et un éventuel calendrier (le cas échéant).

Nous recommandons que le rapport d’évaluation ne dépasse pas 20 pages, synthèse (2-3 pages) comprise, mais sans les annexes. Le rapport doit contenir des références claires aux informations/données importantes disponibles dans les annexes.

Proposition de structure du rapport d’évaluation :

Page de garde

Table des matières

Acronymes et abréviations

Remerciements

• Synthèse
• Introduction
• Description du projet/programme
• Constatations, y compris résultats
• Conclusions
• Recommandations et enseignements tirés

Annexes (obligatoires)

• Cahier des charges
• Grille d’analyse dûment remplie
• Liste complète des parties prenantes et autres personnes consultées et
  interviewées
• Description détaillée du processus d’examen, y compris sources de données et éventuelles faiblesses et limites méthodologiques
• Analyse de la logique d’intervention (cadre logique ou théorie du changement) : degré de réalisation des objectifs
• Rapport analytique de revue, avec options pour la prochaine phase opérationnelle.
• Autres réalisations attendues demandées dans le CC

E) Grille d’analyse remplie

Le ou les évaluateurs sont tenus de fournir une grille d’analyse des critères du CAD dûment remplie pour chaque évaluation de projet/programme. Cette grille doit être remplie et jointe au rapport d’évaluation final. Si le ou les évaluateurs n’analysent pas tous les critères, ils doivent en justifier les raisons de manière pertinente dans le rapport ainsi que dans la grille d’analyse. La grille d’analyse complétée est essentielle pour permettre à la DDC de satisfaire à son obligation de transparence et de redevabilité.

F) Autres réalisations attendues

Procès-verbaux des ateliers, diapositives utilisées pour le débriefing, vidéos,

brochures, études de cas, etc.

5. Documents de référence

Après la signature du contrat, le chargé de Programme Santé et Services de base à la DDC partagera les documents ci-après avec l’évaluateur ou les évaluateurs pour lui/leur permettre de procéder à un premier examen documentaire.

• documents de projet, fiches de projet, propositions de crédit, offres financières, plans annuels et rapports relatifs aux différentes phases, etc. ;
• rapport d’évaluation PASS III ;
• enquêtes ménages ;
• programme de coopération de la Suisse, guides d’orientation et politiques de la DDC pour le secteur, etc. ;
• SRSS et PNDS
• liste des personnes clés à interviewer

L’évaluateur ou les évaluateurs feront rapport au chargé de Programme Santé et Services de base et/ou au Directeur Adjoint de la DDC, à Bukavu, pendant toute la durée de la mission. Le bureau de coopération en RDC et le chargé de Programme Santé et Services de base fourniront le soutien opérationnel à Bukavu.

8. Critères de qualification et d’adjudication

Sur base de ces termes de références, le/la consultant-e-es intéressé-s-es fournir-a-ont à la DDC une courte offre technique et financière pour le mandat (format budgétaire en Annexe 2; indications pour l’offre technique en Annexe 3).

Proposition technique: 70%

1. CV du /de la /des experts

• Expérience confirmée dans l’évaluation et planification de projets en Santé Publique, pour le compte de la DDC de préférence (capacités de synthèse et analytiques) ;
• Compétences confirmées dans le domaine de la gestion des risques (programmatiques et fiduciaires), travail en contextes fragiles, familiarité avec les outils d’analyse en économie politique un atout.
• Connaissance (expérience antérieure) du contexte social et politique de la RDC. Travail antérieur de modération et coordination de processus institutionnels de prise de décision.

2. Compréhension du mandat et méthodologie, approche

• Appréciation et compréhension du mandat.
• Méthodologie, structure, approche proposée.

Proposition financière: 30%

• Clarté de l’offre financière (format DDC petits mandats de type B),
• Valeur absolue de l’offre financière

Les offres techniques et financières (avec la documentation et annexes demandées) devront être envoyés sous forme électronique à bukavu@eda.admin.ch avec copie à eustache.ndokabilya-dunia@eda.admin.

Les personnes d'une organisation actuellement chargée de la mise en œuvre de l'un des projets PASS, PSaMI et Nutrition ne peut participer à l'évaluation (ex. agents de Caritas Congo, Caritas Goma, Helvetas, TPO, CPR, GIZ, DPS et IPS). Les personnes qui participent à l'évaluation et formulent des propositions de projets ne peuvent pas participer à un éventuel appel d'offres futur pour une nouvelle phase de PSaMI.

L’offre technique ne doit pas dépasser 20 pages max. et présente, dans les grandes lignes, les éléments suivants :

1. Description du mandat ;
2. Approche et méthodologie ;
3. Expérience dans des mandats similaires (y c. CV) ;
4. Projet de plan de travail pour l’évaluation ;
5. Projet de plan de rapport ;
6. Offre financière ;
7. Autres.

L’offre financière ne doit pas dépasser une page et indique clairement les tarifs journaliers en dollars américains (USD).

L’attribution de ce marché se fera par gré à gré, après analyse minutieuse et classification des offres techniques et financières reçues. Aucun droit de recours n’est prévu.

La décision d’adjudication sera communiquée avant le 01/07/2025. Le travail de terrain est prévu pour fin août 2025.

La DDC est prête à considérer des offres de consultants individuels ou de team d’experts. De préférence un tandem international/national tel que mentionné au point 4.2.

Les intéressés au présent mandat peuvent demander les Annexes aux présents TdR à eustache.ndokabilya-dunia@eda.admin.ch avec copie à andre-daniel.mueller@eda.admin.ch. Ces Annexes sont à traiter de manière confidentielle et à utiliser dans le cadre exclusif de ce processus d’évaluation.

1. Format pour l’offre financière, mandat type B
2. Documentation du projet
3. Proposition de crédit PASS 7F-06349.05, PSaMI 7F-11029.01 et Nutrition 7F-08503.03
4. Fiches thématiques PASS, PSaMI et Nutrition
5. Programme de coopération 2021-2025
6. Enquêtes de satisfaction ménages, 2023
7. Autres (à préciser)