データサイエンスと線形代数

線形代数と機械学習

線形代数学は、理系学部に進んだ大学生のほぼ全てが学ぶことになる、幅広い分野で数学を応用するためにも重要な数学の分野です。 高校生向けに端的に誤解を恐れず言うと、ベクトルを一般化して計算を単純な文字式で表すとともに、連立方程式を解くことを目的とした研究分野です。 「文字式で表す」ことは、複雑な計算問題を見かけに惑わされず考察するための重要な手続きです。 またプログラミングにおいても必須となる考え方です。

連立方程式と線形代数

方程式 \(\, 2x=3 \,\) の解は \(\, x = \dfrac{3}{2} \,\) です。 一般に方程式 \(\, ax=p \,\) の解は、\(\, a \neq 0 \,\) ならば \(\, x = \dfrac{p}{a} \,\) で与えられます。

連立方程式
\[ \begin{cases} 2x+3y = 5 \\ x-4y=-3 \end{cases} \tag{1} \] は、「行列」を用いて次のように表されます。 \[ \begin{pmatrix} 2 & 3 \\ 1 & -4 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} =\begin{pmatrix} 5 \\ -3 \end{pmatrix} \tag{2} \] ここで \[ A=\begin{pmatrix} 2 & 3 \\ 1 & -4 \end{pmatrix}, \quad \boldsymbol{x}=\begin{pmatrix} x \\ y \end{pmatrix}, \quad \boldsymbol{p}=\begin{pmatrix} 5 \\ -3 \end{pmatrix} \] と表すと、(1) と (2) は、 \[ A \, \boldsymbol{x} = \boldsymbol{p} \tag{3} \] と表されます。 従って、方程式 \(\, a x = p \,\) と同様に連立方程式 (3) の解は形式的に \(\, \boldsymbol{x} = \dfrac{\boldsymbol{p}}{A} \,\) と表されます。 ただし、実際には (3) の解は \[ \boldsymbol{x} = A^{-1} \, \boldsymbol{p} \tag{4} \] と表されます。ここで \(\, A^{-1} \,\) は、 数 \(\, a \, \) の逆数 \(\, \dfrac{1}{a}\, \) に相当する行列 \(\,A \,\) の逆行列とよばれる行列で \[ A^{-1} = \begin{pmatrix} \dfrac{4}{11} & \dfrac{3}{11} \\[0.5mm] \dfrac{1}{11} & -\dfrac{2}{11} \end{pmatrix} \] で与えられることがわかっているので、方程式 (3) の解 \(\, \boldsymbol{x} \,\) は次のように計算されます。 \[ \boldsymbol{x} = A^{-1} \, \boldsymbol{p} =\begin{pmatrix} \dfrac{4}{11} & \dfrac{3}{11} \\[0.5mm] \dfrac{1}{11} & -\dfrac{2}{11} \end{pmatrix} \begin{pmatrix} 5 \\ -3 \end{pmatrix} =\begin{pmatrix} 1 \\ 1 \end{pmatrix} \]

線形代数と機械学習

機械学習の最も基本的なモデルとして次のような問題を考えてみましょう。

• 未知のルール \(\, A \,\) が存在する。
• 「入力」に対して \(\, A \,\) が適用された「出力」結果から \(\, A \,\) を決定したい。
• 「入力」と「出力」はともに数値（ベクトル）で表される。
• ルールはベクトルからベクトルへの変換である。
• 入力ベクトル \(\, \boldsymbol{x}\,\) と出力ベクトル \(\, \boldsymbol{p}\,\) への変換は、行列 \(\, A\,\) で表される。
• 観測された入出力データ（教師データ） \( (\boldsymbol{x}_1, \boldsymbol{p}_1),\; (\boldsymbol{x}_2, \boldsymbol{p}_2),\; \ldots,(\boldsymbol{x}_n, \boldsymbol{p}_n)\; \) に対して、 \(\, A \, \boldsymbol{x}_k = \boldsymbol{p}_k\,\) \( (k=1,2,\ldots,n) \) が成り立つように行列 \(\,A\,\) を決定する。

【具体例】

これら満たす \(\, a,\; b,\; c,\; d \,\) を、次の連立方程式の解として求めればよい。
\[ \begin{cases} a+b=5 \\ c+d=-3 \\ -a+2b=4 \\ -c+2d=-9 \end{cases} \] これを解くと \(\, a=2,\; b=3,\; c=1,\; d=-4 \,\) となり、求める行列 \(\,A\,\) は次のようになる。 \[ A=\begin{pmatrix} 2 & 3 \\ 1 & -4 \end{pmatrix} \]
このように「教師データ」 \( (\boldsymbol{x}_1, \boldsymbol{p}_1),\; (\boldsymbol{x}_2, \boldsymbol{p}_2)\, \) による「学習」からルール \(\,A\,\) が決定されると、結果が分かっていない入力、例えば \(\, \boldsymbol{x}=\begin{pmatrix} 3 \\ -2 \end{pmatrix} \,\) に対する出力 \(\,\boldsymbol{p}\,\) は次のように予想できます。 \[ \boldsymbol{p} =\begin{pmatrix} 2 & 3 \\ 1 & -4 \end{pmatrix} \begin{pmatrix} 3 \\ -2 \end{pmatrix} =\begin{pmatrix} 2 \cdot 3 + 3 \cdot (-2) \\ 1\cdot3+(-4)\cdot(-2) \end{pmatrix} =\begin{pmatrix} 0 \\ 11 \end{pmatrix} \]