La statistique : l’impact d’un simple outil devenu argument en soi

En préambule, je voudrais dire que j’avais apprécié votre commentaire dans l’after foot il y a quelques jours (débat sur la comparaison entre joueurs d’époques différentes) et je m’étais dit que j’allais visiter votre site dès que j’aurais un moment de libre.
Votre article est très bien écrit et il y a une vraie argumentation sur l’inutilité de la statistique dans le foot ou tout du moins l’usage qu’en font les « spécialistes/experts » de foot, c’est à dire sortir de son contexte les statistiques et baser son analyse là dessus ( vous expliquez qu’ils font ça parce qu’ils sont limités dans le temps, moi je dirais par manque de talent ) et je nuancerais même que les statistiques qui appuient les analyses ( qu’elles soient bonnes ou mauvaises ) ne sont pas toutes pertinentes.
Je me souviens lors d’un débat sur un match épouvantable de l’équipe de France (version Domenech en 2008 ou 2009) qu’un consultant avait dit que Toulalan avait fait un match énorme et avait dit tout fier de lui « la preuve 100% de passes réussies et x interceptions ».
Je me demandais si ses stats étaient vraies et j’avais décidé de vérifier ses stats en revoyant le match tellement Toulalan m’avait fait mauvaise impression sur ce match en question.
Elles étaient vraies mais ses passes étaient presque toutes latérales ou en arrière et il n’y avait aucune pression de l’adversaire. Concernant ses interceptions, elles étaient dû aux erreurs adverses ( il n’avait gratter aucun ballon dans les pieds ou n’avait couper aucune trajectoire ).
Tout ça pour vous dire que les statistiques sont parfois trompeuses. La statistique ne peut être qu’un élément d’outil à l’analyse, encore faut-il bien l’utiliser. Deux joueurs avec les mêmes statistiques peuvent faire des matchs complètement différents.
Le problème est que les analyses liées uniquement sur les statistiques sont relayés par les professionnels du foot ( Laurent Blanc a déjà dit qu’un attaquant est jugé sur son nombre de buts ) les experts ou les amateurs de foot qui pensent que tel attaquant est plus fort que tel attaquant parce qu’il a marqué plus de buts. Bien que le nombre de but soit important, pour moi ce n’est qu’un élément pour juger le niveau d’un attaquant ( il faut analyser le contexte à savoir si l’attaquant joue dans une équipe tournée vers l’offensive, si il a des bons passeurs, le niveau et la mentalité du championnat, etc…)
Bref, le dossier est l’un des plus intéressants que j’ai lu sur le foot.
PS : J’adore Toulalan et je le considère comme un très bon joueur. C’était le système de jeu de Domenech qui n’était pas le bon à l’époque, mettre deux milieux défensifs avec le même profil ( Toulalan et Lass Diarra ) contre des équipes largement inférieur à la France n’était pas l’idée du siècle pour produire du beau jeu et obtenir de bons résultats.

En fait le problème ne vient pas tant de la statistique que de l’utilisation qui en est faite.
C’est un problème qui s’applique aussi en dehors du foot.
C’est un problème mathématique, un problème de société aussi. On voudrait réduire à des chiffres l’imprévisible, ‘sécuriser’ l’imprévu, éviter les ennuis et expliquer, de manière tangible et irréfutable un argument.

Le commentaire ci-dessus sur Toulalan est parfait à mes yeux.

L’utilisation de la statistique comme illustration d’un argument, peut relever du sophisme (Toulalan a 100% de passes réussies dans le dernier match, donc il a fait un match monstrueux), de l’analyse (Tiens, Toulalan a 100% de passes réussies ? Quel type de passe a-t-il effectué ? Comment est-ce possible qu’il n’en ait pas raté une ?), ou de la simple illustration d’un argument (Toulalan n’a pas fait un très bon match, regardez, 100% de ses passes sont pour son gardien ou un coéquipier en retrait. Il n’a pas vraiment servi le jeu)

Tout ça pour dire qu’à mon avis, le fait que nous nous appuyions sur les stats à ce point, qu’elles nous servent à tout expliquer à ce point, est dû tout simplement à notre propre incapacité à nous poser des questions, à ne pas accepter l’incertitude, ou vouloir des réponses immédiates à des questions qui nécessitent des analyses en profondeur.
Bien sûr il me faudrait une argumentation au moins aussi longue que votre article, aussi bien construite pour la développer complètement (en plus je suis au boulot donc ça ne serait pas très sérieux de continuer !), mais je suis sûr que vous comprenez mon point de vue 🙂

Bien que je n’aie pas d’objection à formuler à la thèse principale de cet article, le passage sur les « chances de victoire » m’a un peu surpris. Je cite:
«Comptabilisée après mais utilisée avant, la logique est assez contestable. Penser que cette statistique est un ‘pourcentage de chance’ revient à établir un lien de causalité entre le match aller et le match retour. Comme si le fait qu’une équipe ait gagné 3-1 au match aller allait l’aider à avoir un total de buts supérieur à l’autre équipe à l’issue des deux matchs et donc à se qualifier. Avoir deux buts d’avance au match aller n’aide pas à garder cet avantage à l’issue du match retour.»

Il me semble qu’il y a là un contresens sur le rôle des statistiques et la notion de causalité. Mais peut-être ai-je mal compris; je m’explique donc.

L’idée centrale de mon objection est la suivante. Que la statistique soit «comptabilisée après mais utilisée avant» est tout à fait naturel: c’est la nature même des statistiques «inférentielles», où l’on s’appuie sur des événements passés pour (tenter de) *prédire* des événements futurs. La prédiction est, comme partout en science, une activité faillible (ex: météorologie pour prendre un cas courant de la vie quotidienne, et particulièrement complexe). La question centrale n’est pas de connaître la réponse avant de faire la prédiction, mais d’avoir les moyens d’assurer que le modèle employé est satisfaisant. C’est souvent à ce dernier stade que le bât blesse dans le cas des statistiques sportives (et ça ne se limite pas forcément aux seules statistiques sportives d’ailleurs), mais cela signifie en aucun cas qu’il y a une absurdité *de principe* à faire des inférences sur la base de statistiques.

En particulier, en aucun cas parler de probabilités ne revient à établir un lien de causalité entre le match aller et retour. (D’ailleurs je ne suis pas non plus d’accord avec la suite de l’extrait de l’article, car «le fait qu’une équipe ait gagné 3-1 au match aller» me semble bel et bien «l’aider à avoir un total de buts supérieur à l’autre équipe à l’issue des deux matchs et donc à se qualifier»… ou alors, autant ne jouer que le match retour! Mais je préfère me concentrer sur l’aspect causalité) Je prends un exemple qui sort du cadre des compétitions sportives. Considérons le lancer – considéré comme aléatoire – de deux dés non truqués à six faces. La probabilité d’obtenir une somme égale ou supérieure à 8 est de 15/36. Si, maintenant, je lance d’abord un seul dé et que j’en regarde le score avant de lancer le second dé, je peux me prononcer sur la probabilité d’obtenir une somme de 8 ou plus *sachant* le résultat du premier dé. Si, par exemple, le premier dé a donné un 3, je sais que seuls 5 et 6 sur le second dé me permettront d’obtenir 8 ou plus: c’est une probabilité de 1/3. Ce «sachant» renvoie au fait qu’on parle là d’une probabilité «conditionnelle». Il n’y a rien d’anormal à utiliser ce type de probabilités, et c’est là une notion très classique. Or, conditionnaliser la probabilité du résultat final au résultat du 1er dé ne revient *en aucun cas* à établir un lien de causalité entre les deux résultats des dés; au contraire, les lancers des deux dés sont considérés comme aléatoires et totalement indépendants. Cet exemple me semble en partie transposable au cas du match PSG-Chelsea, à cela près – et j’y viens – qu’il faut s’interroger sur la nature des probabilités employées, puisqu’on raisonne sur l’hypothèse de phénomènes aléatoires (ce qu’un match de foot *n’est pas*, mais un lancer de dés non plus, en toute rigueur).

L’un des problèmes de la statistique «chances de victoire» n’est pas tant le versant «statistique» en lui-même, mais le manque de recul sur la notion de «probabilité» qui est mobilisée sans grande réflexion. En effet, pourquoi parler de «chances» de victoire?
La réponse la plus simple consiste à dire que dans le modèle employé, les rencontres sont considérées comme des phénomènes aléatoires. Dans ce cas, on assimile la probabilité d’un événement (qualification de l’équipe A par exemple) comme la fréquence limite avec laquelle cet événement aurait lieu si l’on répète à l’infini un tirage (une rencontre aller/retour) *dans des conditions considérées comme identiques*: c’est une définition classique de la probabilité que l’on qualifie généralement de «fréquentiste». C’est le fameux «si on répétait cette rencontre 10 fois, l’équipe A gagnerait 9 fois» qui revient souvent lorsque l’équipe B a remporté la rencontre avec beaucoup de réussite. Notons que dire que l’événement est considéré comme aléatoire ne signifie pas que les issues sont équiprobables. Barcelone peut tout à fait (selon la conception de ce modèle) avoir 9 chances sur 10 (ou plus, peu importe) de battre le FC Copenhague; le modèle dit simplement qu’une fois cela statué, le hasard fait le reste.

Une fois qu’on dispose de cette notion de probabilité, il reste à savoir comment *évaluer* une probabilité – donc à faire une statistique «prédictive» – à partir des données empiriques. On partira d’un échantillon disponible d’événements *censé* (le mot est important) être représentatif de l’événement à venir (ici, ce sera typiquement l’échantillon des matchs de C1 ayant eu lieu dans ces mêmes conditions) et on assimilera la probabilité (la fréquence «théorique», en quelque sorte) avec la statistique (la fréquence effective mesurée au sein de l’échantillon à disposition). Plus la taille de l’échantillon est grand, plus on aura confiance dans le fait que la statistique et la probabilité sont proches. C’est un mode ordinaire d’«inférence statistique».
L’utilisation des probabilités dans un modèle statistique est ce qui permet de passer de la statistique descriptive (sur le *passé*: 75% des équipes *ont* fait ceci/cela……) à la *prédiction* (sur le *futur*: il y a 75% de chances qu’il se *passera* ceci……). On dira, pour décrire les choses un peu grossièrement, que les événements tendent à se dérouler dans le futur comme ils se sont déroulés dans le passé – et c’est là qu’on en revient à cette idée que la probabilité est «comptabilisée après mais utilisée avant» – s’ils se déroulent dans des conditions identiques (les «conditions de répétabilité»).

Le problème de ce modèle, c’est qu’il assimile très simplement «conditions identiques» avec «score et terrain (domicile/extérieur) identiques au match aller» alors que, de toute évidence, le niveau intrinsèque des équipes, le contexte, etc. influencent le résultat final (ce sont justement, puisqu’on en parle, des éléments de «cause» du résultat final). Loin d’établir des causalités inexistantes, le modèle fait donc tout le contraire: il supprime toute idée de causalité en réduisant le résultat du match à un processus aléatoire, en ne considérant comme seul et unique paramètre pertinent le score du match aller.

On est en fait là en présence d’un problème très classique de l’interprétation «fréquentiste» des probabilités. Je peux chercher à estimer quelle «chance» j’ai de vivre plus de 80 ans en m’appuyant sur les données de mortalité disponibles. Je prendrai par exemple celle de la France, car elles sont plus représentatives de mon cas. Mais n’étant pas fumeur, je souhaiterai peut-être affiner les données utilisées en excluant la mortalité des fumeurs. À moins que, ayant les cheveux longs, il ne faille uniquement m’appuyer sur la mortalité des personnes aux cheveux longs? On peut pousser ce problème jusqu’à l’absurde. Le problème étant que, si je souhaite affiner à l’extrême mon échantillon, je constaterai en fin de compte que seul mon propre état est représentatif de mon propre cas – je vide donc entièrement l’échantillon sur lequel baser mon calcul (alors que j’aurais justement aimé avoir l’échantillon le plus grand possible). Ce problème est bien connu, mais il ne signifie pas pour autant la fin des statistiques et des probabilités. On sait que les femmes vivent plus longtemps en moyenne; on a des statistiques à ce sujet; et il est vraisemblable que cela concerne mon propre cas même si cela ne *détermine* rien.

On en arrive donc à la conclusion que le défaut du modèle réside dans la grande quantité de paramètres qu’il élude pour ne se fier qu’à un seul, le score du match aller (incluant également le lieu, domicile ou extérieur). Dans le cas d’un match comme le PSG (3) – Chelsea (1) grâce auquel le PSG était censé avoir de grandes chances de qualifications, l’erreur commise est une erreur de simplification – on introduit, dans notre modèle, beaucoup moins d’informations que ce qu’on sait réellement sur le match à venir. (et c’est d’ailleurs parce qu’on introduit si peu d’informations qu’on peut se permettre, avec un peu trop de légèreté, de faire du hasard le principal voire le seul mécanisme du résultat final, mais je ne peux pas trop développer cela ici)

Cependant, dire qu’une part de hasard gouverne les résultats d’un match de foot ne me semble pas particulièrement choquant. Dire que le résultat de l’ensemble des matchs aller / retour n’est pas connu avec certitude, mais que le résultat obtenu à l’aller par le PSG lui donne un avantage que l’on cherche à quantifier par des probabilités (selon un modèle largement perfectible) ne l’est pas non plus. Chercher à donner un cadre à ces probabilités sur la base de certaines hypothèses de travail qui permettent de proposer des prédictions, ce n’est qu’emprunter au mode de fonctionnement de l’activité scientifique (qui repose de façon essentielle sur l’idéalisation et l’approximation).

Ma conclusion est donc la suivante. 1) Contrairement à ce qu’affirme l’article, j’estime que «penser que cette statistique est un ‘pourcentage de chance’» ne revient *pas* à établir un lien de causalité entre le match aller et le match retour. 2) Pour autant, il existe très vraisemblablement des liens de causalité entre le résultat d’un match aller et le résultat du match retour (que la statistique précédente, donc, ne prend justement *pas* en compte). En effet, si le PSG a perdu en 2014, c’est en grande partie en raison de sa frilosité, programmée sciemment par Laurent Blanc *à cause* de l’avance acquise au match aller… 3) Ce n’est donc pas le principe de la «probabilité de victoire» que je remettrais en cause mais plutôt son application pratique, trop limitée et trop imparfaite au vu de la façon dont sont gérées les données à disposition. J’aurais plus tendance à me fier aux cotes des sites de paris sportifs, en ce qu’elles sont programmées pour correspondre au mieux (mais imparfaitement) avec des «probabilités» afin de maximiser les gains des bookmakers.

Bien évidemment, la façon dont les médias sportifs s’emparent de ce genre de statistiques est très contestable; ce n’est pas ce point que je voulais discuter ici, mais un aspect bien précis du développement proposé dans cet article.