Essais randomisés en économie du développement : révolution ou mirage ?

Les économistes du développement utilisent les RCTs de deux manières distinctes, d’une part pour mesurer les impacts d’un projet (mis en œuvre sur le terrain par des bailleurs, des ONG…), d’autre part pour mener des expériences dans des environnements réels (en faisant varier artificiellement un paramètre, pour en déduire des « lois »).  J’ai travaillé pour la première fois avec cette approche en 2007, afin d’évaluer l’impact d’un projet destiné aux personnes « ultra-pauvres » en Inde du Sud. Une ONG locale avait fourni aux ménages un petit capital, une formation et un encadrement social. Cette expérience nous a montré que les personnes qui conservaient ces actifs amélioraient leur situation. Mais nous avons également établi que le groupe témoin s'en sortait mieux lui aussi, grâce à l'augmentation des salaires sur le marché du travail. En fin de compte, les progrès dans les deux groupes étaient similaires et donc l'impact net du projet était nul. Ce constat a beaucoup surpris l'ONG – et nous aussi. J'en suis venu à la conclusion que la puissance des RCTs ne réside pas seulement dans le fait que ce soit un outil permettant d’établir ce qui fonctionne – ou non : il offre aussi une structure expérimentale permettant d’essayer de façon systématique quelque chose de différent. Dans le cas présent, de mener une autre expérience avec un autre programme de transfert d’actifs. Ce virage vers l'expérimentation est un véritable changement d'approche, permettant de créer des variations dans un environnement et offrant un aperçu nouveau sur les contrats de microfinance et sur le comportement financier. Bien sûr, cet outil n'est pas toujours adapté : il est très limité lorsqu'il s'agit de comprendre la macroéconomie ou la corruption systémique, par exemple. De plus, les critiques craignent que les « randomistas », promoteurs des essais randomisés, ne prêtent pas assez attention aux contextes. De fait, mon expérience m’a appris que des approches complémentaires, comme l'ethnographie ou l'évaluation qualitative, sont souvent nécessaires pour bien interpréter les résultats des RCTs. Plus important encore peut-être, la question du succès d’une intervention n’est finalement pas toujours la plus intéressante. Les RCTs, ainsi que l'état d'esprit expérimental qu’ils impliquent, peuvent être des outils permettant de poser différents types de questions : « Comment les gens font-ils des choix ? Un changement de design peut-il faire la différence ? Qui gagne et qui perd, et pourquoi ? ». Les débats sur les RCTs se focalisent trop souvent sur la manière de déterminer ce qui fonctionne, plutôt que sur la puissance de ces méthodes pour faire émerger de nouvelles questions. 

Les RCTs en économie sont apparus en Inde au début des années 2000, dans des expérimentations visant à évaluer l'efficacité de la microfinance pour éliminer la pauvreté. Après des années à observer le développement de ces approches dans mon pays, je considère qu'elles sont perçues par leurs promoteurs comme bien plus puissantes qu'elles ne sont en réalité : il est très naïf d'imaginer que de nouvelles politiques puissent être conçues sur les résultats de ces essais plutôt que sur des connaissances accumulées au cours de décennies de travaux antérieurs ! 
Les RCTs peuvent malgré tout être bien adaptés à certains domaines : des essais comparatifs ont ainsi établi que les enfants recevant des vermifuges sont moins malades que les autres, passent plus de temps à l'école et apprennent mieux. Mais aussi bon marché et efficace que soit le déparasitage, il ne saurait remplacer les écoles et les manuels scolaires manquants ! De fait, les RCTs présentent de sérieuses limites lorsqu’il s’agit de concevoir de véritables politiques de développement. Parfois, ils ont même eu un impact négatif. C'est le cas de « Aadhaar », le système numérique d'identification individuelle adopté par l'Inde, censé aider à mieux diriger les prestations sociales vers les plus pauvres et adoubé par les RCTs. Sauf qu’en raison de problèmes d'accès, de connexion et de limites technologiques, son utilisation a conduit les plus défavorisés à se voir refuser l'accès aux rations alimentaires, aux pensions et autres prestations sociales… 
Un autre problème tient au fait que plus de 90 % des RCTs réalisés en Inde sont conçus par des chercheurs non indiens ou indiens vivant hors du pays, financés pour la plupart par des fonds étrangers. Ainsi, pratiquement aucune de ces expériences n'est dictée par les priorités posées ou les besoins ressentis par les décideurs indiens. Outre la taille et la diversité de l’environnement indien, les adeptes des RCTs et les bailleurs de fonds sont aussi attirés par le peu de réglementation en matière d’expérimentations. Cependant, comme ce sont souvent de petites expériences marginales, leurs conclusions suscitent rarement l'attention du public au-delà de la communauté scientifique et n’affectent pas l’élaboration des politiques publiques en Inde, qui est un pays peu dépendant de l'aide au développement. Mais dans les pays plus petits, où l’influence des bailleurs internationaux publics et privés est grande, les RCTs pourraient avoir un impact beaucoup plus important et façonner de nouvelles politiques. D'un point de vue éthique, c'est très préoccupant ! 

L’avantage des RCTs est en théorie incontestable pour évaluer l’impact d’un projet, d’une politique ou d’un programme. Mais leur mise en pratique a révélé certaines limites, notamment la difficulté de respecter le protocole dès l’échantillonnage. Ce dernier n’est alors plus aléatoire ou se concentre sur des populations trop singulières : comment, dès lors, exploiter ces résultats singuliers et les transposer à l’échelle d’une plus vaste communauté ? Les études menées dans le domaine du développement ambitionnent entre autres de comprendre les processus modelant les sociétés étudiées. Or, si la méthode des RCTs mesure un impact (d’un accompagnement personnalisé sur le retour à l’emploi de chômeurs par exemple), elle ne permet pas d’expliquer les facteurs façonnant celui-ci (une meilleure information et confiance en soi, une diminution de la pression…), limitant la transposition de ces résultats à d’autres contextes. L’évaluation elle-même de cet impact est sujet à critique : plutôt que de mesurer l’impact d’un microcrédit par exemple, les RCTs testent en réalité comment la population adhère au microcrédit suivant différentes variables – permettant au final de mieux « vendre » ou distribuer un produit ou un service, dont le randomisateur a imaginé qu’il a un impact social positif. Plus largement, les RCTs ne permettent d’évaluer que des micro-interventions, laissant de côté les principales politiques fiscales, commerciales ou sectorielles qui affectent les structures de l’économie. Ce qui implique, d’une part, que seule une très faible proportion des politiques publiques est susceptible d’être évaluées par cette méthode, et, d’autre part, que les RCTs se fondent sur une conception étroite du développement. Se pose aussi la question du respect des obligations éthiques entourant toute recherche : en manipulant l’environnement étudié (la vie des gens) et en s’intéressant à des communautés particulièrement vulnérables, la nécessité de protection des populations est-elle vraiment respectée ? Quand dans le cadre des RCTs des microcrédits sont accordés aux personnes considérées comme insolvables sans se soucier des risques de surendettement ou que l’eau est coupée aux locataires d’un bidonville pour étudier si cela incite leurs propriétaires à payer la facture d'eau, il semble au contraire que la foi dans l’avancement de la science et les gains promis dans le futur l’emporte. La pandémie du Covid-19 a, elle aussi, jeté une lumière crue sur les limites de cette méthode. Primés par le prix Nobel pour leur contribution majeure à la réduction de la pauvreté, les RCTs n’ont pas été en mesure d’apporter des solutions concrètes pour lutter contre les effets catastrophiques de cette crise, qui constitue pourtant le choc le plus brutal en matière de pauvreté jamais connu jusqu’à présent. On mesure ici toute la distance qui sépare les RCTs employés dans le domaine du développement des essais cliniques utilisés en médecine, par exemple pour évaluer les vaccins.  Néanmoins, les lignes bougent du côté des promoteurs des RCTs, qui proposent des chartes éthiques ou reconnaissent la pluralité des méthodes… Si on peut penser que l’ouvrage que Florent Bédécarrats, Isabelle Guérin et moi-même avons coordonné a joué un rôle dans ces ajustements, la question de leur portée réelle ou cosmétique reste ouverte. 

• CONTACTS

Jonathan Morduch, Wagner Graduate School of Public Service, New York University

Gulzar Natarajan, Global Innovation Fund

François Roubaud, LEDA - DIAL (IRD/CNRS/Université Paris-Daupnine)

• PUBLICATION

Randomized Control Trials in the Field of Development: A Critical Perspective, Florent Bédécarrats, Isabelle Guérin & François Roubaud, Oxford University Press, 2020
DOI:10.1093/oso/9780198865360.001.0001

Version française : Expérimentations aléatoires dans le champ du développement, Une perspective critique, Sous la direction de Florent Bédécarrats, Isabelle Guérin, François Roubaud, IRD Editions, collection Synthèses, septembre 2022

• JOURNALISTE

Alice Bomboy

Ler o artigo em português : Experimentos Aleatórios Controlados na Área de Desenvolvimento: revolução ou miragem?