Matriz de covarianza
En estadística y teoría de la probabilidad, la matriz de covarianza es una matriz que contiene la covarianza entre los elementos de un vector. Es la generalización natural a dimensiones superiores del concepto de varianza de una variable aleatoria escalar.
Definición
Si las entradas del vector-columna
- <math>X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}</math>
son variables aleatorias, cada una con varianza finita, entonces la matriz de covarianza Σ es la matriz cuya entrada (i, j) es la covarianza
- <math>
\Sigma_{ij} =\mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix} </math>
donde
- <math>\mu_i = \mathrm{E}(X_i)\,</math>
es el valor esperado de la entrada i-ésima del vector X. En otras palabras, tenemos
- <math>
\Sigma = \begin{bmatrix}
\mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\
\mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
\mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]
\end{bmatrix}. </math>
Como una generalización de la varianza
La anterior definición es equivalente a la igualdad matricial
- <math>
\Sigma=\mathrm{E} \left[
\left(
\textbf{X} - \mathrm{E}[\textbf{X}]
\right)
\left(
\textbf{X} - \mathrm{E}[\textbf{X}]
\right)^\top
\right] </math>
Por tanto, se entiende que esto generaliza a mayores dimensiones el concepto de varianza de una variable aleatoria escalar X, definida como
- <math>
\sigma^2 = \mathrm{var}(X) = \mathrm{E}[(X-\mu)^2], \, </math>
donde
- <math>\mu = \mathrm{E}(X).\,</math>
Propiedades
Para <math>\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]</math> y <math> \mu = \mathrm{E}(\textbf{X})</math>, las siguientes propiedades fundamentales se demuestran correctas:
- <math> \Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top} </math>
- <math> \mathbf{\Sigma}</math> es semidefinida positiva
- <math> \operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top} </math>
- <math> \operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top</math>
- <math> \operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})</math>
- Si los vectores <math>\mathbf{X}</math> y <math>\mathbf{Y}</math> son de igual dimensión, entonces <math>\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})</math>
- <math>\operatorname{cov}(\mathbf{AX}, \mathbf{BY}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B}^\top</math>
- Si <math>\mathbf{X}</math> y <math>\mathbf{Y}</math> son independientes, entonces <math>\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0</math>
donde <math>\mathbf{X}, \mathbf{X_1}</math> y <math>\mathbf{X_2}</math> son vectores aleatorios de dimensión <math>\mathbf{(p \times 1)}</math>, <math>\mathbf{Y}</math> es un vector aleatorio <math>\mathbf{(q \times 1)}</math>, <math>\mathbf{a}</math> es <math>\mathbf{(p \times 1)}</math>, <math>\mathbf{A}</math> y <math>\mathbf{B}</math> son matrices de <math>\mathbf{(p \times q)}</math>.
La matriz de covarianza (aunque muy simple) es una herramienta muy útil en varios campos. A partir de ella se puede derivar una transformación lineal que puede de-correlacionar los datos o, desde otro punto de vista, encontrar una base óptima para representar los datos de forma óptima (véase cociente de Rayleigh para la prueba formal y otras propiedades de las matrices de covarianza). Esto se llama análisis del componente principal (PCA por sus siglas en inglés) en estadística , y transformada de Karhunen-Loève en procesamiento de la imagen.
Lecturas avanzadas
- Covariance Matrix en MathWorld
- van Kampen, N. G. Stochastic processes in physics and chemistry. New York: North-Holland, 1981.
