L’indice de rigueur d’Oxford s’effondre – AIER

Depuis le début de la pandémie, les classes bavardes – et en particulier ceux d’entre nous qui ont été quelque peu sceptiques à l’égard des interventions politiques – ont utilisé un outil graphique de Our World in Data. Ce site, géré par le chercheur d’Oxford Max Roser avec une excellente équipe d’universitaires et de communicateurs, est un outil fantastique pour visualiser et condenser les données scientifiques du monde. Je l’utilise presque tous les jours.

Pour chaque pays, le graphique en question donne une valeur quotidienne pour ce que l’on appelle la «rigueur des réponses du gouvernement». Les commentateurs, les décideurs politiques, les chercheurs et les journalistes l’ont utilisé pour évaluer les différences dans la réponse des pays à la pandémie. C’est exactement le genre de recherche utile que nous voulons que le milieu universitaire produise: un classement indépendant et impartial, par des politologues et des scientifiques des données, de sorte que le reste d’entre nous puisse comprendre rapidement ce qui se passe.

Même si toutes les données utilisées (et ses méthodes) sont accessibles au public, personne ne se souciait vraiment de regarder sous le capot. Ce sont des chercheurs bien établis dans l’une des meilleures universités du monde (aucun préjugé de ma part!), Avec un fort engagement envers la précision et l’excellence – ils n’auraient pas pu se tromper sérieusement, n’est-ce pas?

Pensez encore.

La Blavatnik School of Government d’Oxford, dont découle le classement, emploie des centaines de personnes pour cet effort, passant au crible les informations et la communication publique pour distiller les réponses à la pandémie des gouvernements de 184 pays et territoires (moins une poignée où les données ne sont pas rapportées ou crédible).

Tout d’abord, plusieurs indices différents existent, pas le seul que rapporte Our World in Data. Deuxièmement, l’équipe Our World in Data a confondu le problème en étiquetant mal le graphique qu’elle construit à partir des données de l’équipe de Blavatnik: elle rapporte un «indice de rigueur de la réponse du gouvernement» alors que l’équipe de Blavatnik énumère tous les deux un «indice de réponse du gouvernement» et un «indice de rigueur». L’onglet source, intitulé «Index de stringence», décrit les variables qui entrent dans un troisième index – «Indice de confinement et de santé» – tandis que les données réelles rapportées proviennent de «l’indice de stringence», c’est-à-dire pas celui qui intitule leur graphique.

Deuxièmement, ceux d’entre nous qui utilisent à plusieurs reprises ce graphique pour suivre les réponses politiques dans différents pays ont noté un changement distinct fin octobre ou début novembre. En particulier, je l’ai remarqué pour les pays nordiques, car mes co-auteurs Dan Klein et Christian Bjørnskov suivent de près leur développement. Jusqu’à tout récemment, la Suède, dont la plupart des reportages ne se lassent pas, était le moins rigoureux de tous les pays nordiques. La vie était plus libre, les restrictions à la pandémie étaient moins invasives et les réponses politiques moins fortes; cela correspondait à l’expérience des peuples nordiques sur le terrain. Le graphique que nous avons utilisé dans notre article ressemblait donc à ceci:

La Suède a suivi les autres pays nordiques depuis le début de la pandémie et, à l’approche de l’été, les autres – à l’exception du Danemark – sont redescendus aux niveaux suédois. Suède n’a pas « ne fais rien», Mais a révoqué les libertés et dirigé les gens un peu moins que tout le monde.

Si nous présentons les mêmes données aujourd’hui, en utilisant les mêmes dates (du 22 janvier au 3 août), le graphique ressemble à ceci:

«Huh!» disent les habitants de n’importe quel pays nordique, car cela ne passerait pas le test de reniflement le plus rudimentaire. Dans ce graphique mis à jour, le 22 mai marque la date à laquelle l’équipe de Blavatnik a rétrogradé le Danemark, après quoi la Suède ressemble au plus strict de tous les pays nordiques. En réalité, le Danemark a interdit même aux citoyens suédois d’entrer dans le pays et a exigé que certains ressortissants non danois (Allemands, Islandais, Norvégiens) franchissent des obstacles très restrictifs pour même entrer. Le 9 juillet, les autorités danoises se sont retournées pour porter des masques, de son agence de santé tout le printemps contre les utiliser en raison du manque de preuves de leur fonctionnement (la société de transport public DSB a même interdit à ses employés de les porter) pour les mandater dans les bus et les trains. La Suède n’a rien fait de tout cela, mais à en juger par le graphique mis à jour, il était maintenant considéré comme plus strict.

Quelque chose est pourri dans l’état d’Oxford.

L’histoire de l’Islande est en fait encore pire pour le classement. Malgré ses contrôles lourds, il semble être le plus bienveillant de tous les pays nordiques. La variable pour les voyages internationaux («C8», qui ne figurait même pas dans le classement initial au printemps), affiche le mieux les échecs du classement des équipes Blavatnik. Le classement en cinq étapes (le plus élevé est le pire: ces nombres sont ordinaux mais prennent des valeurs numériques dans le calcul) se lit comme suit:

• 0: pas de restrictions
• 1: Contrôle des arrivées
• 2: Arrivées en quarantaine
• 3: Interdire les arrivées de certains Régions
• 4: Interdire les arrivées de tout Régions

Maintenant, je chipoterais même avec le classement de base selon lequel mettre en quarantaine de nombreuses personnes de pays voisins est pire que d’interdire une poignée d’arrivées de pays lointains. Mais «3» capture un monde de différences qui ne sont pas reflétées dans l’index.

Quand le Danemark a admis certains personnes dans ses terres le 25 mai, tout en excluant tout le monde, ils ont été rapidement rétrogradés au rang 3 – le même que la Suède. Parce que la Suède a suivi la politique de base de l’Union européenne de restreindre les ressortissants non-EEE, elle a conservé un 3 tout au long de la pandémie. Lorsqu’ils incluaient ou excluaient certains pays non européens, facilitaient l’arrivée des personnes ayant des liens familiaux ou permettaient aux titulaires d’un permis de travail de venir, rien ne se reflétait dans le classement. L’Islande, pour avoir mis les arrivées en quarantaine de manière invasive pendant diverses durées, avait un 2 pour la pandémie précoce. Par la suite, il a été classé 3 pour le reste de la pandémie, même si la nation insulaire a d’abord interdit à presque tout le monde, puis en juin ouvert aux touristes d’été contre un test rapide et facile à la frontière, puis en août a imposé un 5- jour de quarantaine séparé par des doubles tests (le tout aux frais des voyageurs). Des régimes très différents, mais le «3» est resté partout.

Comparez cela avec la Suède: pas de quarantaines, pas de tests, le minimum de base de restrictions pour les voyageurs lointains (qui ne voyageaient pas de toute façon).

Pas adapté à l’usage

Les problèmes du classement vont bien plus loin, à ses bacs fourre-tout, ses interprétations ad hoc et ses références non conformes.

Regardons à nouveau le 22 mai. Les autorités sanitaires suédoises, conformément à leurs efforts décentralisés et dirigés par des experts, ont recommandé de ne pas voyager si tu étais malade et que tout le monde devrait se demander s’il avait vraiment besoin de voyager. Cela justifiait en quelque sorte un «1» sur le sous-indice du mouvement interne (C7), égalant à tort le rang danois et le message politique. Le 22 mai, l’équipe de Blavatnik a cité l’ambassade des États-Unis en disant qu’il n’y avait «aucune restriction interurbaine ou interrégionale sur les déplacements internes au Danemark». Tout en notant que les autorités recommandaient de travailler à domicile et d’éviter les transports en commun si possible, l’équipe a classé le Danemark «0» («Pas de mesures»), tout en gardant la Suède à 1. Quel est le sens de cette question.

Trois jours plus tard, le classement du sous-indice C8 (voyages internationaux) a fait passer le Danemark de la valeur maximale de 4 à la même valeur que la Suède (3) car il le permettait désormais Voyage d’affaires de certains pays voisins. Qu’importe que la Suède ait permis presque tout voyageur de toute l’Union européenne.

C8 n’est même pas le sous-index le plus insensé; H1, Campagnes d’information publique, est. Avec trois niveaux (aucune information; une certaine prudence du public; «information publique coordonnée»), pratiquement chaque pays reçoit des notes complètes tout au long de la pandémie. Une variable qui ne varie pas – ni dans le temps ni entre les pays – n’est pas d’une grande utilité. L’indicateur sur les rassemblements privés (C4) a des bacs ridiculement larges (tout entre 11 et 100 personnes reçoit le même rang). La variable de séjour à la maison (C6) place la Suède à 1 («recommander de ne pas quitter la maison»), car les autorités ont demandé aux employés d’envisager de travailler à domicile – un classement égal à celui du Royaume-Uni (à l’exception de quelques semaines sélectionnées au printemps et à l’automne ). Entre le 21 octobre et le 8 novembre, le Danemark a mystérieusement reçu un 0 sur ce sous-indice, dont le déclassement faisait référence au Premier ministre ne disant rien du tout à propos de cet indicateur.

L’observateur fastidieux note que les mandats de masque (indicateur H6) ne font même pas partie de l’indice de stringence présenté sur le site Our World in Data. Quel type d’indice de rigueur n’inclut peut-être pas les aspects physiques et politiques politique la plus invasive il y a?

La plupart des indicateurs du classement de l’école Blavatnik ne mesurent pas ce que recherchent les observateurs attentifs: ils sont clairement pas assez nuancé ou assez espacé pour saisir les différences entre les pays ou refléter ce que toute personne normale entendrait par «verrouillage» ou mandat gouvernemental. Leurs chercheurs semblent interpréter les déclarations et les communiqués de presse de manière un peu arbitraire (parfois de sources anglophones uniquement, et deux ou trois étapes supprimées), et ils utilisent la politique la plus stricte de toutes les régions pour se substituer à l’ensemble du pays.

Pouvons-nous encore l’utiliser?

L’avantage de faire confiance à un évaluateur tiers pour classer les réponses politiques – comme nous le faisons pour l’indice de développement humain, l’indice de démocratie ou l’indice de liberté économique – est que le chercheur qui utilise les chiffres n’a pas participé à sa création. On espère que ceux qui l’ont créé l’ont fait sans arrière-pensée évidente quant à la manière dont il serait utilisé. L’inconvénient est que vous confiez le jugement interprétatif à un observateur tiers. C’est bien si ce jugement est équilibré et précis, désastreux si ce n’est pas le cas.

L’avalanche d’informations pour chaque pays que la pandémie de Covid a libéré a signifié que les trackers comme le très utilisé Oxford Covid-19 Government Response Tracker ont été submergés par de nombreuses petites informations spécialisées, qui ont toutes dû être regroupées dans un 3- , Échelles à 4 ou 5 échelons selon 20 indicateurs différents – dont certains seulement en ont fait «l’index» accessible au public sur des sites comme Our World in Data.

Un monde de différence sépare les recommandations publiques pour les gymnases ou les transports publics pour régler ou fonctionner différemment que de les interdire purement et simplement sous la menace d’amendes, de poursuites judiciaires ou de violences policières. Être mis en quarantaine pendant des jours, être obligé de publier plusieurs tests positifs ou être autorisé à entrer pour des raisons professionnelles uniquement ne pas la même chose que, pour les Européens du moins, l’approche «tout va bien» en place en Suède depuis mars. (Ce qu’ils font ces dernières semaines est beaucoup plus strict et invasif et nous verrons ce que l’équipe Blavatnik en fait).

Lorsque les gouvernements recommandent des précautions, la vie peut se dérouler presque comme d’habitude; les verrouillages ou les lois prohibitives bouleversent entièrement la vie. À bien des égards, ces différences passent presque entièrement inaperçues dans le classement de l’équipe Blavatnik. Au fur et à mesure que la pandémie se développait, ses bacs sont clairement trop larges et trop ambigus pour saisir ce que les gens veulent qu’un tel index affiche.

Au printemps, lorsque le classement semblait refléter à peu près ce qui se passait dans divers pays, personne ne s’y est opposé – ni même regardé sous son capot. Maintenant, après sa réécriture étrange de l’histoire et sa mauvaise utilisation des pays nordiques, des histoires très trompeuses ne sont pas à faire, personne ne devrait lui faire confiance sans regarder les détails.