Naive Bayes

単純ベイズ分類器。 分類問題についてのみ考える。

• $X$
  • 確率変数
  • 説明変数をあらわす
• $C$
  • 確率変数
  • クラスをあらわす
• $N$
  • 観測されるデータの数
• \[(X^{1}, C^{1}), \ldots, (X^{N}, C^{N})\]
  • 観測されるデータの組
  • $(X, C)$のi.i.dサンプル

naive bayesではベイズの定理を利用して計算を単純にしていく手法である。 分類の仕方は色々考えられるが、ここでは、条件付き確率を最大にするクラスとする。 $x$が観測されたとして、そのクラスを以下で予測する。

\[\begin{eqnarray} c^{*} & := & \argmax_{c} p_{C \mid X}(c \mid x) \nonumber \\ & = & \argmax_{c} \frac{ p_{C}(c) p_{X \mid C}(x \mid c) }{ p_{X}(x) } \nonumber \\ & = & \argmax_{c} p_{C}(c) p_{X \mid C}(x \mid c) \end{eqnarray}\]

naive bayesでは下記の2つの分布を適当に仮定した後、仮定した分布のパラメータをデータから求めるということを行う。

• \[p_{X \mid C}(x \mid c)\]
• \[p_{C}(c)\]

仮定する分布によって、パラメータの推定式が異なるので以下では、分布について求める。

多変数ベルヌーイモデルの場合

これは、