Le diagramme de Taylor, enfin décrypté
diagramme de Taylor, Taylor diagram, dataviz, validation de modèles, corrélation, écart-type, RMSE, R
Le diagramme de Taylor, enfin décrypté
Trois métriques, un seul coup d’œil.
On croise le diagramme de Taylor (Taylor 2001) un peu partout dès qu’il s’agit de comparer plusieurs modèles à une observation de référence : articles de climatologie, rapports du GIEC, études hydrologiques ou océanographiques. Autant dire qu’il vaut mieux savoir le lire.
Et pourtant, c’est un graphique que presque personne n’apprend vraiment à lire. On le déchiffre à la louche, en repérant vaguement « le point le plus proche du bord », sans vraiment savoir ce que cette position signifie. Moi la première : je l’ai toujours interprété sur le tas, jamais appris une bonne fois pour toutes.
Cet article explique comment lire un diagramme de Taylor déjà tracé, pas comment le construire de A à Z avec un package en particulier. On revient en fin d’article sur les implémentations disponibles.
Un graphique qu’on croise partout, mais qu’on apprend rarement
Prenons un cas simple : la température hebdomadaire sur un an, avec trois modèles qui tentent de la reproduire, plus ou moins bien (un modèle, ici, désigne n’importe quel outil statistique cherchant à reproduire les observations : modèle de machine learning, modèle mécanistique, etc.).
À l’œil nu, difficile de dire précisément lequel des trois modèles s’en sort le mieux, et sur quel plan les deux autres se trompent. C’est exactement le problème que le diagramme de Taylor permet de résoudre en un seul graphique.
Le problème que ce graphique résout est en réalité assez simple à formuler : quand on compare plusieurs modèles à une observation, on a envie de regarder au moins trois choses à la fois. Le modèle suit-il bien la forme du signal observé (corrélation) ? A-t-il une variabilité comparable à la réalité (écart-type) ? Et globalement, à quel point ses valeurs sont-elles proches de l’observation (erreur quadratique moyenne, ou RMSE) ?
Sans le diagramme de Taylor, il faudrait comparer ces trois métriques dans trois tableaux ou trois graphiques séparés, modèle par modèle. Le tour de force du diagramme de Taylor, c’est de rassembler ces trois informations sur un seul graphique, pour un nombre quelconque de modèles, grâce à une relation géométrique qui les relie entre elles.
Anatomie du graphique : trois métriques à lire
Le diagramme de Taylor repose à la fois sur une lecture cartésienne et une lecture polaire : un même axe horizontal gradué sert de référence pour l’écart-type, tandis que l’angle par rapport à cet axe donne la corrélation. Un point sert de repère fixe à tout le graphique : l’observation, toujours placée sur l’axe horizontal, à une distance de l’origine égale à son propre écart-type. Trois éléments se lisent simultanément sur le graphique.
L’angle : la corrélation
L’angle (\(\theta\)) par rapport à l’axe horizontal indique la corrélation entre le modèle et l’observation (plus précisément, \(\text{corrélation} = \cos(\theta)\)). Plus un point est proche de l’axe horizontal (angle proche de 0°), plus la corrélation est forte et proche de 1. Un point à 90° correspond à une corrélation nulle.
La distance à l’origine : l’écart-type
La distance entre un point et le centre du repère (l’origine) représente l’écart-type du modèle, c’est-à-dire sa variabilité propre. L’observation de référence est elle-même placée sur l’axe horizontal, à une distance de l’origine égale à son propre écart-type : c’est le point de comparaison pour tous les modèles.
La distance à l’observation : la RMSE
C’est le point le plus souvent mal compris. La distance directe entre un modèle et le point représentant l’observation (pas l’origine) correspond à la racine de l’erreur quadratique moyenne (Root Mean Square Error, ou RMSE). Cette distance n’est généralement pas représentée par un axe gradué classique, mais par des arcs de cercle concentriques centrés sur le point d’observation.
Sur cet exemple, le modèle 1 est le meilleur en termes de corrélation (angle \(\theta\) le plus petit) : sa courbe suit fidèlement la forme du signal. Il sous-estime cependant l’amplitude du signal, avec un écart-type (\(\sigma\)) plus faible que celui de l’observation (3.5 contre 5.7). Malgré ce défaut, c’est son point qui reste le plus proche de l’observation sur le graphique, donc celui qui a la RMSE la plus faible : la bonne corrélation compense l’écart-type imparfait. Le modèle 1 est donc, dans l’ensemble, celui qui représente le mieux les données. Le modèle 3, plus bruité et moins corrélé, s’écarte nettement plus de l’observation, donc sa RMSE est plus élevée.
Synthèse de lecture
Face à un diagramme de Taylor déjà tracé, dans un article ou un rapport, voici l’ordre de lecture le plus efficace.
- Repérer le point d’observation. C’est la référence : celle-ci est en général indiquée explicitement, sur l’axe horizontal.
- Regarder l’angle de chaque modèle pour juger de sa corrélation avec l’observation : plus l’angle est petit, meilleure est la corrélation.
- Regarder la distance à l’origine pour juger de l’écart-type de chaque modèle : plus elle est proche de celle de l’observation, plus la variabilité du modèle est réaliste.
- Regarder la distance au point d’observation pour juger de la RMSE globale : plus un modèle est proche du point d’observation, meilleur il est dans l’ensemble.
Un point de vigilance mérite d’être gardé en tête : cette lecture suppose que l’observation et les modèles ont la même moyenne. Sans cette condition, un modèle avec un biais systématique peut sembler excellent sur le diagramme sans l’être réellement. La démonstration ci-après explique ce mécanisme, et montre que nos trois modèles n’y sont pas exposés.
Pourquoi ça marche : la loi des cosinus
Ces trois métriques ne sont pas indépendantes : elles sont liées par une relation trigonométrique. Voyons laquelle.
Pour un modèle donné, l’origine, le point d’observation et le point du modèle forment un triangle.
L’écart-type de l’observation (\(\sigma_{obs}\)) et l’écart-type du modèle (\(\sigma_{mod}\)) sont deux côtés de ce triangle ; l’angle entre eux est justement l’angle de corrélation \(\theta\) défini plus haut. Le troisième côté (celui qui relie le modèle à l’observation) est la RMSE, et c’est très exactement ce que donne la loi des cosinus appliquée à ce triangle : deux côtés et l’angle entre eux suffisent à déterminer le troisième.
\[\text{RMSE}^2 = \sigma_{obs}^2 + \sigma_{mod}^2 - 2 \, \sigma_{obs} \, \sigma_{mod} \cos(\theta)\]
Cette équation dit quelque chose de fort : une fois \(\sigma_{obs}\), \(\sigma_{mod}\) et \(\theta\) fixés, la RMSE n’a plus aucune liberté. Elle ne peut prendre qu’une seule valeur, celle donnée par l’équation ci-dessus. Ce n’est pas une troisième mesure indépendante qu’on pourrait faire varier à sa guise : c’est la conséquence géométrique forcée des deux autres. Autrement dit, sur le graphique, connaître l’écart-type et la corrélation d’un modèle revient à connaître sa RMSE.
D’où sort cette équation, concrètement ? Le widget ci-dessous le montre pas à pas, en traçant une hauteur dans le triangle pour faire apparaître un théorème de Pythagore caché.
Ce que le diagramme ne montre pas : le biais
La loi des cosinus qu’on vient de démontrer est une identité géométrique, toujours vraie pour un triangle donné. Ce qui n’est pas toujours vrai, c’est que ce triangle représente exactement la RMSE.
Cette lecture suppose que l’observation et le modèle ont la même moyenne, sans quoi un biais systématique gonfle la RMSE réelle sans que rien ne le trahisse sur le graphique. Le détail ci-dessous explique pourquoi.
Par définition, la RMSE entre une observation et un modèle est :
\[\text{RMSE}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - y_i)^2\]
où \(x_i\) est l’observation, \(y_i\) le modèle, et \(n\) le nombre de points. Pour faire apparaître les moyennes, on ajoute et on retranche \(\bar{x}\) et \(\bar{y}\) à chaque terme :
\[x_i - y_i = (x_i - \bar{x}) - (y_i - \bar{y}) + (\bar{x} - \bar{y})\]
En élevant au carré, en sommant sur les \(n\) points et en divisant par \(n\), les termes croisés impliquant \((\bar{x} - \bar{y})\) s’annulent1, et il ne reste que :
\[\text{RMSE}^2 = \underbrace{(\bar{x} - \bar{y})^2}_{\text{biais}^2} + \underbrace{\frac{1}{n}\sum (x_i - \bar{x})^2 + \frac{1}{n}\sum (y_i - \bar{y})^2 - \frac{2}{n}\sum (x_i - \bar{x})(y_i - \bar{y})}_{\sigma_x^2 \, + \, \sigma_y^2 \, - \, 2\sigma_x\sigma_y r_{xy}}\]
Le second groupe de termes est, par définition, l’écart-type de chaque série et leur corrélation \(r_{xy}\). C’est très exactement la loi des cosinus démontrée juste au-dessus, avec \(\cos(\theta) = r_{xy}\). La RMSE se décompose donc en deux parts indépendantes :
\[\text{RMSE}^2 = \text{biais}^2 + \big(\sigma_{obs}^2 + \sigma_{mod}^2 - 2\sigma_{obs}\sigma_{mod}\cos(\theta)\big)\]
Le diagramme de Taylor n’affiche que le second terme, celui qui dépend de l’écart-type et de la corrélation. Le biais, lui, n’apparaît nulle part sur le graphique : deux modèles avec le même écart-type et la même corrélation occupent exactement le même point, que leur moyenne soit égale à celle de l’observation ou non.
Figure 8 reprend cette décomposition sur le modèle 1. En haut, le scatter obs/modèle : le segment orange, de la moyenne du nuage à la diagonale, matérialise le biais ; les segments gris fins, la dispersion résiduelle des points (le « reste » de l’équation). En bas, la même décomposition en barres empilées, qui donne à voir directement le poids relatif des deux termes dans la RMSE². À gauche, le modèle original : le biais est quasi nul, la RMSE² est presque entièrement due au reste. À droite, le même modèle décalé de 3°C : la dispersion des points est identique, donc le reste ne change pas, mais le biais s’ajoute et fait grimper la RMSE² d’autant, alors que la position sur le diagramme de Taylor, elle, resterait rigoureusement la même.
C’est la limite à garder en tête : un modèle peut occuper une excellente position sur le diagramme tout en ayant un biais important. Le diagramme de Taylor résume la forme de l’erreur (dispersion, corrélation), pas sa position (biais). En pratique, pour garantir l’égalité des moyennes sans avoir à y penser, le diagramme de Taylor est généralement construit sur des anomalies (des écarts à une moyenne de référence) plutôt que sur des valeurs brutes. Nos trois modèles, eux, respectent déjà cette condition tels quels, puisqu’ils oscillent tous autour de la même température moyenne que l’observation.
Dès lors que cette condition est respectée, le diagramme de Taylor est donc une représentation fidèle : les trois métriques qu’il affiche ne sont jamais en tension entre elles. Un coup d’œil suffit ainsi pour comparer plusieurs dizaines de modèles, là où des tableaux de chiffres demanderaient bien plus de temps.
Deux implémentations permettent de construire un diagramme de Taylor en R :
plotrix::taylor.diagram(): utilisée pour les graphiques de cet article, elle trace un diagramme complet en une ligne.openair::TaylorDiagram(): plus récente, plus flexible pour comparer des groupes de modèles.
Références
Savoir lire un diagramme de Taylor, c’est une chose. Savoir construire et valider ses propres modèles en est une autre. Envie d’aller plus loin ?
Notes de bas de page
Ils s’annulent parce que \(\frac{1}{n}\sum (x_i - \bar{x}) = 0\) et \(\frac{1}{n}\sum (y_i - \bar{y}) = 0\) par définition de la moyenne.↩︎