Dernièrement, nous avons réfléchi à la manière dont les décideurs gouvernementaux du monde entier adoptent les innovations éducatives à grande échelle. La recherche montre que les décideurs nationaux et régionaux calculent en permanence les coûts et les avantages de l’innovation qu’ils envisagent. Il y a toujours des innovations concurrentes et les ressources humaines et financières sont toujours rares, les innovateurs doivent donc être stratégiques.
Les données pilotes positives constituent un outil stratégique précieux. Et pourtant, utiliser les données d’une étude pilote pour promettre le succès d’une innovation à grande échelle peut être délicat. Cela est dû aux biais inhérents au pilotage d’une innovation qui peuvent dénaturer l’innovation à grande échelle. Ces préjugés méritent un coup d’oeil.
Biais lors du pilotage d’une innovation
L’un est le célèbre Effet Hawthorne (nommé non pas pour la personne qui l’a inventé – Henry Landsberger – mais pour le nom de l’entreprise qu’il étudiait: Hawthorne Electric Company). C’est la tendance des gens qui savent qu’ils sont observés à mieux agir (comme la façon dont les employés travaillent plus dur quand ils savent que le patron les surveille). Les participants qui savent qu’ils participent à un projet pilote d’innovation ont tendance à mieux performer qu’ils ne le feraient autrement. Cela peut produire des données surestimées.
Un autre biais est le Effet Rosenthal (parfois appelé effet Pygmalion). L’effet Rosenthal – du nom du psychologue Robert Rosenthal – est que les gens vivront à la hauteur des attentes que les autres ont pour eux. Par exemple, les élèves obtiennent de meilleurs résultats si leur enseignant a des attentes élevées à leur égard et sont moins performants lorsque les attentes de l’enseignant sont faibles. Les participants aux études pilotes savent souvent que les personnes qui pilotent l’innovation ont des attentes élevées à leur égard et donc, consciemment ou non, elles performeront à un niveau supérieur. Encore une fois, cela peut conduire à des résultats qui ne se traduisent pas nécessairement par la même innovation à grande échelle, où les attentes peuvent se diluer ou diminuer.
Autres limitations apportant les innovations du pilote à l’échelle
Outre ces deux effets, il existe d’autres préoccupations méthodologiques pour amener une innovation du pilote à l’échelle. Bien qu’ils aient été décrits par de nombreux chercheurs au fil des ans, un cadre utile vient d’Abhijit Banerjee et de ses collègues qui discutent de six erreurs potentielles. L’un est l’équilibre du marché: Les coûts unitaires des choses changent lorsqu’une innovation est mise à l’échelle; cela modifie le rapport avantages / coûts. Un second qu’ils appellent effets d’entraînement positifs: leur version de l’effet Hawthorne. Un troisième est patronage politique: À mesure qu’une innovation se développe, les opportunités de corruption et de collusion augmentent également. Le quatrième est dépendance au contexte: Il peut y avoir quelque chose d’unique dans le contexte dans lequel le pilote s’est produit qui n’est pas vrai pour le contexte de mise à l’échelle. Le cinquième est biais d’auto-sélection: Les écoles et les gouvernements locaux qui choisissent de participer à des efforts pilotes sont probablement atypiques – ce sont des réformateurs ou des gens prêts à travailler plus dur. Et le sixième est biais du pilote: Les besoins logistiques et de financement d’un pilote sont souvent plus faciles à gérer que d’administrer l’innovation à plus grande échelle.
Nous soulevons ces sujets de préoccupation car ils sont importants pour les innovateurs qui pourraient utiliser des données pilotes pour présenter les réformes de l’éducation aux décideurs de haut niveau. Nous ne disons pas que cela ne devrait pas être fait – juste pour être prudent. Comme pour tant de choses dans la vie, la clé est peut-être de sous-promettre et de trop livrer.
Mais ce n’est pas si simple.
Si la promotion d’une innovation auprès des décideurs nationaux ou régionaux est autant politique que basée sur la qualité de l’innovation, il peut y avoir une volonté de sur-promesses, juste un peu. Tromper des résultats pilotes positifs en fait partie, mais il faut connaître les limites méthodologiques.
Si les écueils du pilotage ne peuvent pas toujours être évités, ils peuvent être atténués.
Pour les responsables de la mise en œuvre chargés de présenter une innovation éducative aux décideurs nationaux, cela peut signifier être prudent de ne présenter que des données pilotes positives – ou uniquement des données de quelque nature que ce soit. Une gamme complète d’informations et d’arguments pour l’adoption de l’innovation est conseillée. Et c’est une bonne pratique d’aligner l’innovation avec les priorités politiques du moment et les motivations complexes du décideur. Comprendre le contexte et utiliser les bonnes données de la bonne manière sont essentiels.
Il y a aussi une leçon pour les chercheurs. Si les écueils du pilotage ne peuvent pas toujours être évités, ils peuvent être atténués. Peut-être que l’effet Hawthorne peut être atténué en en discutant avec les participants dès le départ. Les gens peuvent être encouragés à agir comme ils le feraient normalement, plutôt que d’aider artificiellement l’innovation. Peut-être que l’effet Rosenthal peut être résolu par les exécutants pilotes en prenant soin de ne pas communiquer ouvertement ou subtilement des attentes inhabituellement élevées aux participants. Les autres problèmes, présentés ici par Banerjee et ses collègues, peuvent être abordés de diverses manières – surtout dans les attentes des innovateurs, des exécutants et des chercheurs pilotes eux-mêmes pour leur pilote (et comment ils conçoivent l’étude qui l’accompagne). Le but ici est d’aborder les biais potentiels à l’avance.
Le Centre pour l’éducation universelle de Brookings est fier de s’associer au Partenariat mondial pour l’échange de connaissances et d’innovation (KIX) du Partenariat mondial pour l’éducation (GPE), à travers le projet Research on Scaling the Impact of Innovations in Education (ROSIE), pour explorer problèmes avec les décideurs nationaux. Nous continuerons de partager avec vous ce que nous avons appris grâce à ROSIE dans les mois à venir. En attendant, nous aimerions entendre ceux d’entre vous qui ont de l’expérience dans ces domaines: qu’avez-vous essayé et qu’est-ce qui a le mieux fonctionné?
Ce projet est soutenu par le Partenariat mondial pour l’échange de connaissances et d’innovation en éducation (KIX), un partenariat conjoint entre le Partenariat mondial pour l’éducation (GPE) et le Centre de recherches pour le développement international (CRDI). Les opinions exprimées ici ne représentent pas nécessairement celles du GPE, du CRDI ou de son Conseil des gouverneurs.
Brookings s’engage à assurer la qualité, l’indépendance et l’impact dans tous ses travaux. Les activités soutenues par ses donateurs reflètent cet engagement et l’analyse et les recommandations sont uniquement déterminées par le chercheur.
