再生核ヒルベルト空間をなんとなく理解する

タイトルの通り再生核ヒルベルト空間を何となく理解する．
厳密ではないし，証明も書いていない．
僕はかなり忘れっぽいので，「わかんなくなったなー」と思ったときに見るメモ用．

問題

入力ベクトルを非線形写像によって高次元空間へ移して，その高次元空間上で別の入力ベクトルとの内積をとる．

は内積．
このとき，カーネルトリックというテクニックを使って，この内積を

という感じで求めたい．
の次元が非常に大きい場合（無限のときもある）は，内積は計算出来ないのだけど，上の式によって計算できるよ，という話．

準備

• 適当な入力空間上の集合: ．入力ベクトルとしてとが与えられているとすると．
• 適当な正定値カーネル: ．との関係は，となる（ようにしておく）．
  • ここで，は，の関数とみなせるので，は，を関数空間（上の高次元空間つまり無限次元空間になる）に写像するものと考えることができる（パラメータによって関数が設計されるというイメージで考えると分かりやすい）．
  • 図を書いたけど見づらい．

• • 関数空間とは関数が空間内のある一点と対応する．その関数が取る値を並べてそれをベクトルのように考えると想像しやすい．
• によって張られる空間: ．

• • の例でみると，の任意の元は次のよう表すことができる．

• • この空間を図示すると下のようなイメージ．

再生性

が再生核ヒルベルト空間の場合，次の性質を持つ．

つまり，上の任意の元と（これも上の元）の内積は，任意の関数においてを入力したときの値になるという性質．

カーネルトリック

この再生性を利用すると，つぎのような良い感じの性質が見えてくる．

• 上の2つの元, の内積:

• • のところは，関数にを入力することになるので，再生性を利用するととなる．
• 上の結果を利用してとの内積:

おわりに

を実数全体としたときに再生性を満たすカーネルが線形カーネル，ガウシアンカーネルだったり．