Signaux aléatoires

Stationnarité et ergodicité

Simon Leglaive

CentraleSupélec

Dans les épisodes précédents…

• Un processus aléatoire \(\{X(t)\}_t\) est une collection de variables aléatoires indexées par le temps. C’est une fonction de deux variables : l’aléa et le temps.
• On définit la distribution d’un processus aléatoire par l’ensemble des lois fini-dimensionnelles à tout ordre, ce qu’on appelle la loi temporelle.
• On peut également décrire partiellement un processus aléatoire au travers de certaines quantités moyennes jusqu’au second ordre :
  • la moyenne \(m_X(t) = \mathbb{E}[X(t)]\), qui décrit la tendance globale ;
  • la variance \(\sigma_X^2(t) = \mathbb{E}[|X(t) - m_X(t)|^2]\) , qui décrit les déviations par rapport à cette tendance ;
  • la fonction d’autocovariance \(R_{XX}(t+\tau, t) = \mathbb{E}[X_c(t + \tau)X_c(t)^*]\), qui décrit la (non-)prédictibilité du processus à différents horizons temporels \(\tau\), sous un modèle linéaire.

Au programme

• En règle général, la distribution de probabilité de la v.a. \(X(t)\) varie au cours du temps, tout comme sa moyenne \(m_X(t)\), sa variance \(\sigma_X^2(t)\), ou sa fonction d’autocovariance \(R_{XX}(t+\tau, t)\).

• Nous allons aborder maintenant une propriété essentielle de certains processus, celle de stationnarité.

• Assez intuitivement, on se doute que certaines des caractéristiques mentionnées ci-dessus vont être constantes au cours du temps pour un processus stationnaire.

• Nous terminerons par aborder le concept pratique d’ergodicité, permettant de remplacer la moyenne statistique par une moyenne temporelle.

Stationnarité au sens strict

• Un signal aléatoire \(\{X(t)\}_t\) est dit stationnaire au sens strict si toutes ses propriétés statistiques sont invariantes à toute translation de l’origine du temps.

  Cela signifie que \(\{X(t)\}_t\) et \(\{Y(t) = X(t + \tau)\}_t\) ont les mêmes propriétés statistiques pour tout décalage \(\tau\).

• Plus formellement, un processus aléatoire est stationnaire au sens strict si sa loi temporelle est invariante par changement de l’origine des temps, c’est-à-dire, pour tout \(k\)-uplet \((t_1, t_2, ..., t_k) \in \mathbb{Z}^k\) et tout \(\tau \in \mathbb{Z}\), la fonction de répartition vérifie :

  \[\begin{aligned} & \mathbb{P}\bigg( \{X(t_1) \le x_1\}, \,\, \{X(t_2) \le x_2\}, \,\, ..., \,\, \{X(t_k) \le x_k\} \bigg) =\\ & \mathbb{P}\bigg( \{X(t_1 + \tau) \le x_1\}, \,\, \{X(t_2 + \tau) \le x_2\}, \,\, ..., \,\, \{X(t_k + \tau) \le x_k\} \bigg). \end{aligned} \]

Ici aussi, pour un processus complexe il faudrait considérer les parties réelles et imaginaires, ce que nous omettons de faire pour éviter d’alourdir plus encore les notations.

• La propriété de stationnarité est très intéressante en pratique car elle permet de décrire les propriétés statistiques d’un signal indépendamment de son instant d’analyse.

• Cependant, la stationnarité est une propriété idéaliste, qui ne peut exister dans l’absolu puisque toute expérience physique a un commencement et une fin.

  En effet, puisque \(\tau\) est arbitraire on en déduit immédiatement qu’un signal aléatoire stationnaire ne peut être de durée limitée.

• Dans la pratique (et cela ne correspond pas à la définition), on considérera qu’un signal est stationnaire si ses propriétés statistiques sont constantes sur son intervalle d’analyse.

Stationnarité au sens large (SSL)

Un processus \(\{X(t)\}_{t}\) est stationnaire au sens large (ou stationnaire au second ordre, ou encore faiblement stationnaire) si :

1. Il est du second ordre : \(\mathbb{E}[|X(t)|^2] < + \infty\) ;
2. Sa valeur moyenne est constante : \(\mathbb{E}[X(t)] = m_X\) ;
3. Sa fonction d’autocovariance \(R_{XX}(t_1, t_2) = \mathbb{E}[X_c(t_1)X_c(t_2)^*]\) ne dépend que de l’écart de temps \(t_1 - t_2\).

Il est utile de reformuler cette dernière propriété en posant \(t_1 = t + \tau\) et \(t_2 = t\) :

• \(R_{XX}(t + \tau, t) = \mathbb{E}[X_c(t + \tau)X_c(t)^*]\) ne dépend que de \(\tau\).
• On notera alors \(R_{XX}(\tau)\) la fonction d’autocovariance du processus SSL \(\{X(t)\}_t\).

La stationnarité au sens large est définie à partir des moments du processus jusqu’au second ordre, plutôt qu’à partir de sa loi temporelle, elle est donc moins “forte” que la stationnarité au sens strict.

Propriétés de la fonction d’autocovariance d’un processus aléatoire SSL

Symétrie Hermitienne (processus SSL)

• La fonction d’autocovariance \(R_{XX}(\tau) = \mathbb{E}[X_c(t + \tau)X_c(t)^*]\) vérifie

  \[R_{XX}(-\tau) = R_{XX}(\tau)^*.\]

• Pour un processus aléatoire réel, la fonction d’autocovariance est paire :

  \[R_{XX}(-\tau) = R_{XX}(\tau).\]

Valeurs extrêmes (processus SSL)

D’après l’inégalité de Schwarz¹, la fonction d’autocovariance atteint son maximum absolu pour \(\tau = 0\) : \[ |R_{XX}(\tau)| \le R_{XX}(0). \]

Ceci résultat conduit à introduire la fonction d’autocovariance normalisée : \[ \tilde{R}_{XX}(\tau) = R_{XX}(\tau) / R_{XX}(0), \] qui satisfait donc \(|\tilde{R}_{XX}(\tau)| \le 1\) et \(\tilde{R}_{XX}(0) = 1\).

1. Soient \(X\) et \(Y\) deux v.a. de carré intégrable (i.e., \(\mathbb{E}\big[|X|^2\big], \mathbb{E}\big[|Y|^2\big] < + \infty\)), on a \(\big|\mathbb{E}\big[XY^*\big] \big| \le \sqrt{\mathbb{E}\big[|X|^2\big]} \sqrt{\mathbb{E}\big[|Y|^2\big]}.\)

Non-négativité (processus SSL)

De la même façon que pour un processus non-stationnaire (cf. cours précédent), pour tout entier \(k > 0\) et pour toutes suites arbitraires d’instants \(\{t_1, ..., t_k\} \in \mathbb{Z}^k\) et de valeurs complexes \(\{\lambda_1, ..., \lambda_k\} \in \mathbb{C}^k\) on a :

\[ \sum_{i,j=1}^k \lambda_i \lambda_j^* R_{XX}(t_i - t_j) \ge 0. \]

• La fonction \(\tilde{R}_{XX}(\tau)\) est dite définie non-négative (ou semi-définie positive).
• Cette propriété permet la construction de matrices de covariance semi-définies positives.
• Elle permet aussi de définir la notion de mesure spectrale de puissance (cf. prochain cours).

Matrice de covariance (processus SSL)

• Soit \(\{X(t)\}_{t}\) un processus aléatoire SSL supposé centré¹.

• On considère le vecteur formé par \(T\) échantillons consécutifs du processus : \[ \mathbf{X} = \left[ X(t), X(t+1), ..., X(t+T-1) \right]^\top. \]

• On cherche à calculer la matrice de covariance de \(\mathbf{X}\), définie par \(\mathbf{R}_{\mathbf{X}} = \mathbb{E}\left[\mathbf{X} \mathbf{X}^H\right]\).

• Le produit \(\mathbf{X} \mathbf{X}^H\) donne une matrice \(T \times T\) dont l’élément \((i, j) \in \{1,...T\}^2\) est donné par: \[X(t+i-1) X(t+j-1)^*.\]

• L’élément \((i, j)\) de \(\mathbf{R}_{\mathbf{X}}\) est donc donné par : \[\mathbb{E}[X(t+i-1) X(t+j-1)^*] = R_{XX}(i-j).\]

1. Il suffit de retirer la moyenne \(m_X = \mathbb{E}[X(t)]\) du processus s’il n’est pas centré.

On obtient la matrice de covariance :

\[ \mathbf{R}_{\mathbf{X}} = \begin{pmatrix} R_{XX}(0) & R_{XX}(-1) & R_{XX}(-2) & \cdots & R_{XX}(-(T-1)) \\ R_{XX}(1) & R_{XX}(0) & R_{XX}(-1) & \cdots & R_{XX}(-(T-2)) \\ R_{XX}(2) & R_{XX}(1) & R_{XX}(0) & \cdots & R_{XX}(-(T-3)) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ R_{XX}(T-1) & R_{XX}(T-2) & R_{XX}(T-3) & \cdots & R_{XX}(0) \end{pmatrix} \]

Et grâce à la symétrie hermitienne de la fonction d’autocovariance, \(R_{XX}(-\tau) = R_{XX}(\tau)^*\), on obtient finalement :

\[ \mathbf{R}_{\mathbf{X}} = \begin{pmatrix} R_{XX}(0) & R_{XX}^*(1) & R_{XX}^*(2) & \cdots & R_{XX}^*(T-1) \\ R_{XX}(1) & R_{XX}(0) & R_{XX}^*(1) & \cdots & R_{XX}^*(T-2) \\ R_{XX}(2) & R_{XX}(1) & R_{XX}(0) & \cdots & R_{XX}^*(T-3) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ R_{XX}(T-1) & R_{XX}(T-2) & R_{XX}(T-3) & \cdots & R_{XX}(0) \end{pmatrix} \]

Propriétés de la matrice de covariance (processus SSL)

• La matrice de covariance est hermitienne (égale à sa transposée conjuguée), ou simplement symétrique dans le cas d’un processus réel.
• Elle est semi-définie positive.
• C’est une matrice de Toeplitz : toutes les parallèles à la diagonale principale sont constituées de termes constants.

\[ \mathbf{R}_{\mathbf{X}} = \mathbb{E}\left[\mathbf{X} \mathbf{X}^H\right] = \begin{pmatrix} R_{XX}(0) & R_{XX}^*(1) & R_{XX}^*(2) & \cdots & R_{XX}^*(T-1) \\ R_{XX}(1) & R_{XX}(0) & R_{XX}^*(1) & \cdots & R_{XX}^*(T-2) \\ R_{XX}(2) & R_{XX}(1) & R_{XX}(0) & \cdots & R_{XX}^*(T-3) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ R_{XX}(T-1) & R_{XX}(T-2) & R_{XX}(T-3) & \cdots & R_{XX}(0) \end{pmatrix} \]

Conclusion

• Nous venons de voir que la stationnarité d’un signal aléatoire simplifie grandement l’expression de ses descripteurs statistiques en supprimant la référence à la variable temporelle \(t\).
• Nous allons maintenant discuter du concept d’ergodicité, qui associé à la stationnarité va permettre de simplifier fortement le traitement des signaux aléatoires en pratique.

Ergodicité

• Soit un processus aléatoire \(\{X(t, \omega)\}_{t \in \mathbb{Z}}\) où nous faisons apparaître explicitement la dépendance à l’aléa.

• Pour une certaine réalisation \(\omega_0\), nous obtenons une trajectoire \(\{X(t, \omega_0)\}_{t \in \mathbb{Z}}\), pour laquelle nous définissons sa moyenne temporelle par : \[ \bar{m}_X(\omega_0) = \lim_{T \to \infty} \frac{1}{2T+1} \sum_{t=-T}^{T} X(t, \omega_0).\]

• Le processus est dit ergodique (pour la moyenne) si la moyenne temporelle \(\bar{m}_X(\omega)\) est indépendante du tirage et égale (preseque sûrement) à une constante \(\bar{m}_X\).

Ergodicité et stationnarité

• L’ergodicité prend tout son sens lorsqu’elle est associée à la stationnarité d’un signal.

• Plus précisément, l’ergodicité signifie que la moyenne temporelle ne dépend pas du tirage \(\omega\), tandis que la stationnarité implique que la moyenne d’ensemble ne dépend pas du temps \(t\).

• Lorsqu’un processus aléatoire est à la fois stationnaire et ergodique, ses moyennes temporelles et ses moyennes d’ensemble sont égales : \[ \Big\{ \bar{m}_X = \lim_{T \to \infty} \frac{1}{2T+1} \sum_{t=-T}^{T} X(t, \omega) \Big\} = \Big\{ \mathbb{E}[X(t)] = m_X \Big\}, \]

  où on rappelle que \(\mathbb{E}[X(t)]\) s’interpréte comme la limite de la moyenne empirique \(N^{-1} \sum_{n=1}^{N} X(t, \omega_n)\) quand \(N\) tend vers l’infini.

• En général, il faut remplacer dans l’équation ci-dessus \(X\) par une certaine fonction de \(X\), et on dit que le processus est ergodique pour cette fonction.

• L’ergodicité est donc une propriété d’un processus aléatoire (supposé en plus SSL) qui permet de remplacer les moyennes statistiques (espérance sur l’ensemble des réalisations possibles) par des moyennes temporelles (calculées sur une seule réalisation suffisamment longue).

• Cela signifie qu’une seule observation suffisamment longue du processus contient toute l’information statistique, ce qui est très utile en pratique pour l’analyse des signaux aléatoires.

Vous êtes maintenant familier des notions fondamentales permettant de définir et décrire statistiquement un signal aléatoire dans le domaine temporel, bravo !