Critique de Super Crunchers

Critique de Super Crunchers : ce que la prévision peut remplacer, et ce qui lui échappe

Cette critique de Super Crunchers trouve Ian Ayres le plus convaincant lorsqu’il montre qu’un modèle statistique modeste peut surpasser des professionnels sûrs d’eux, et le moins convaincant lorsque la prévision est autorisée à tenir lieu d’explication. Le livre oppose sans cesse l’intuition des experts à la régression, aux grands ensembles de données et aux essais randomisés. Cette opposition est féconde, car elle révèle avec quelle facilité l’expérience se transforme en anecdote. Elle devient parfois trop nette : une prévision peut améliorer une décision tout en laissant irrésolus le mécanisme causal, la qualité des données d’entrée et le coût humain d’une erreur.

Ayres écrit pour les lecteurs qui apprécient davantage les exemples pratiques que les démonstrations mathématiques. Il transforme la comparaison quantitative en joute narrative : le juge bardé de diplômes entre en scène avec son autorité, la formule arrive avec moins de variables et le résultat embarrasse le juge. Ce schéma donne de l’élan au livre, mais il peut aussi faire paraître plus semblables qu’ils ne le sont des cas hétérogènes. Prix du vin, traitement médical, recrutement, crédit et comportement des consommateurs ne présentent pas des enjeux identiques sous prétexte que chacun peut être modélisé.

L’équation d’Ashenfelter sur le vin et l’attrait d’une prévision nette

L’équation d’Orley Ashenfelter sur les vins de Bordeaux constitue un emblème d’ouverture idéal pour Ayres. Les variables météorologiques et les conditions du millésime défient le langage de la dégustation experte en produisant une prévision du prix sans goûter le vin. L’exemple est mémorable non parce qu’il prouve l’inutilité du goût, mais parce qu’il sépare deux questions que les experts confondent souvent : quel prix une bouteille atteindra-t-elle sur le marché, et que perçoit un critique dans le verre ? Un modèle peut exceller dans la première tâche tout en restant muet sur la seconde.

Cette distinction révèle la force centrale du livre. Super Crunchers demande au lecteur de définir le résultat visé avant de célébrer l’exactitude. Si la cible est le prix futur, les variables doivent être jugées par rapport au prix. Si la cible est la guérison clinique, un indicateur indirect commode peut être inadéquat. Ayres démontre à plusieurs reprises la discipline qui consiste à préciser un résultat, comparer les prévisions et accepter un résultat embarrassant. Il s’attarde moins sur la décision politique de savoir qui choisit ce résultat et quelles pertes sont comptabilisées, et pour qui, lorsque le système se trompe.

L’exemple du vin illustre aussi la vivacité du style explicatif d’Ayres. Il préfère la surprise d’un résultat à un exposé technique sur la construction du modèle. L’argument reste ainsi accessible, mais les lecteurs qui cherchent une initiation à la conception d’une régression, au surapprentissage ou aux intervalles d’incertitude devront consulter un autre ouvrage. L’enjeu est ici culturel : les preuves quantitatives doivent pouvoir rivaliser avec le prestige.

Essais randomisés, décisions fondées sur les preuves et validité locale

Ayres traite l’expérimentation randomisée comme un moyen d’apprendre, et non seulement de prévoir. Les entreprises peuvent tester des offres, les sites web peuvent tester leur présentation et les institutions peuvent comparer des interventions. L’affectation aléatoire compte parce qu’elle peut rompre le lien entre un choix et les caractéristiques qui ont conduit une personne à le recevoir. Le livre distingue à juste titre cette logique de la simple accumulation d’observations. Multiplier les observations ne corrige pas automatiquement une sélection biaisée.

La réserve concerne la validité externe. Un test peut être bien conçu pour une population et mal se transposer ailleurs. Un résultat obtenu auprès de clients volontaires, dans un hôpital particulier ou sur une période étroite ne devient pas universel par le seul effet de la taille de l’échantillon. Super Crunchers laisse parfois les promesses liées à l’échelle dépasser cette limite. Ses exemples récompensent les lecteurs qui s’arrêtent sur la population, le traitement, le groupe de comparaison et le résultat mesuré, au lieu de prendre l’étiquette « piloté par les données » pour un certificat de vérité.

C’est ici que le livre rejoint utilement la philosophie et psychologie. L’argument ne concerne pas seulement le calcul ; il porte sur les biais, l’autorité et l’inconfort suscité par une procédure qui contredit le jugement. La meilleure position d’Ayres n’est pas que les humains doivent quitter la pièce. Elle est que le jugement doit répondre de ses résultats consignés.

Après le modèle : dérogation de l’expert, interprétation et responsabilité

Le livre invite souvent à se demander qui, de l’expert ou de l’algorithme, doit l’emporter. La meilleure question porte sur les responsabilités de chacun. Un modèle peut classer les risques avec constance, tandis qu’un clinicien, un enseignant, un prêteur ou un gestionnaire doit encore interpréter les informations manquantes et répondre de ses obligations envers la personne concernée. L’intervention de l’expert peut réintroduire un biais, mais l’interdire peut dissimuler l’angle mort du modèle derrière l’obéissance à la procédure.

Ayres est le plus solide lorsqu’il fait de la prévision un contrôle de l’intuition. Il convainc moins lorsque les incitations institutionnelles s’effacent. Une organisation peut déployer un score parce qu’il est exact, parce qu’il est peu coûteux ou parce qu’il laisse une trace permettant de justifier la décision ; ces motivations ne sont pas équivalentes. Le lecteur doit donc distinguer l’amélioration prédictive démontrée de l’affirmation plus large selon laquelle un système serait juste ou sage.

Le contraste avec la collection business et développement personnel est utile. Les contextes commerciaux offrent souvent un retour rapide et des résultats mesurables, tandis que les décisions publiques peuvent engager des droits et des préjudices que l’on ne saurait optimiser comme des taux de conversion. Super Crunchers ouvre la question quantitative sans pouvoir résoudre la question normative.

Style, structure et scénario répété de l’expert battu

Le livre s’organise en une suite de renversements. Un domaine familier apparaît, une convention d’expert est présentée, puis une solution numérique produit une meilleure prévision ou un test plus net. La prose d’Ayres est énergique et explicative, peu soucieuse d’entretenir une mystique statistique. Le livre se montre ainsi efficace auprès du grand public sceptique, mais peut frustrer les spécialistes qui voudraient voir les présupposés examinés plus profondément.

La répétition est à la fois méthode et limite. Elle renforce l’idée que le problème opposant expert et formule ne se cantonne pas à un secteur. Le même rythme peut toutefois aplanir les différences entre domaines et encourager une lecture triomphaliste. La lecture la plus responsable résiste au refrain qui appelle les applaudissements et demande quelles informations le modèle qui l’emporte a utilisées, lesquelles il a omises et si sa réussite a persisté lorsque les comportements se sont adaptés à sa présence.

Le livre précède également le déploiement actuel, à grande échelle, de l’apprentissage automatique. Sa mise en garde fondamentale contre l’intuition demeure pertinente, mais le lecteur contemporain doit y ajouter les boucles de rétroaction, la provenance des données, les variables opaques et la discrimination automatisée. Ayres offre un socle utile plutôt qu’une éthique complète des décisions algorithmiques.

Public visé, limites et comparaisons utiles

Super Crunchers convient surtout aux lecteurs qui cherchent une défense accessible de la mise à l’épreuve de l’intuition professionnelle par les résultats. Il n’enseigne pas assez de mathématiques pour permettre de construire les systèmes décrits, et ne doit pas servir de preuve que tout grand ensemble de données produit du savoir. Sa réussite pratique consiste à faire du refus de mesurer une position plus difficile à défendre.

Les lecteurs intéressés par les applications commerciales peuvent comparer le livre à A New Introduction to Trade and Business afin de voir comment les preuves disponibles et le vocabulaire institutionnel ont évolué. Certain Success propose un style opposé, fondé sur l’assurance prescriptive ; placée à côté d’Ayres, cette assurance aiguise l’exigence de performances mesurables.

La question décisive pour le lecteur est de savoir s’il apprécie les arguments bâtis sur de nombreux cas brefs plutôt que sur une seule étude prolongée. L’ampleur du champ couvert par Ayres est stimulante, mais elle laisse peu de place à chaque domaine. Les lecteurs qui s’intéressent aux applications en médecine, dans le crédit ou dans l’emploi auront besoin de preuves propres à ces domaines avant d’appliquer sa leçon générale.

Bilan final

L’enseignement durable de Super Crunchers n’est pas que la régression serait infaillible. Il tient à ceci : l’intuition ne doit pas échapper à la comparaison au seul motif qu’elle appartient à une personne expérimentée. L’équation vinicole d’Ashenfelter, les essais randomisés et les affrontements répétés entre jugement et prévision donnent vie à cette idée.

Ses limites sont tout aussi instructives. L’exactitude dépend de la définition du résultat, de la qualité des données, de la population et de l’usage institutionnel ; prévoir ne revient pas automatiquement à expliquer, justifier ou répartir équitablement les préjudices. Ayres donne au lecteur une raison solide d’exiger des preuves, mais celui-ci doit y ajouter les questions de gouvernance et de conséquences. Employé ainsi, le livre demeure une introduction vivante à l’humilité quantitative plutôt qu’un manifeste en faveur du remplacement du jugement par un score.