情報工学 - 専門

機械学習 関連検索

中川 裕志著

東京大学工学教程編纂委員会編

目次

はじめに
1 機械学習の基礎概念
1.1 背 景
1.2 情報の変換モデル
1.2.1 モデル
1.2.2 例題：文書分類
1.3 概念の整理
1.3.1 分類と回帰
1.3.2 識別モデルと生成モデル
1.3.3 教師あり学習と教師なし学習
1.4 データの性質と表現
1.4.1 データの種別と性質
1.4.2 集合の表現
1.4.3 素 性
1.5 評価方法
1.5.1 学習データとテストデータ
1.5.2 教師あり学習の場合
1.5.3 教師なし学習
1.6 本書で用いる記法
1.6.1 ベクトルと行列
1.6.2 期待値と分散，共分散
2 確率分布のパラメタ推定
2.1 最尤推定と最大事後確率推定
2.1.1 最尤推定
2.1.2 最大事後確率推定
2.2 Bayes 推 定
2.2.1 共役事前分布と指数型分布族
2.2.2 多項分布と Dirichlet 分布
2.2.3 正規分布
2.2.4 指数型分布族に属さない分布
2.3 指数型分布族の最尤推定
2.3.1 平均と分散の最尤推定
2.3.2 平均と分散の計算例
3 線形モデル
3.1 線形回帰モデル
3.1.1 最尤推定と正規方程式
3.1.2 基底関数の導入
3.2 線形分類モデル
3.2.1 2 クラス分類
3.2.2 境界面の幾何学的解釈
3.2.3 多クラス分類
3.3 正則化
3.3.1 L2 正則化
3.3.2 L1 正則化
3.3.3 正則化項の Bayes 的解釈
3.4 種々の損失と正則化
3.4.1 損 失
3.4.2 正則化
3.5 生成モデルによる分類
4 過学習と予測性能
4.1 過学習
4.2 バイアス・バリアンス分解
4.2.1 損失関数とバイアス，バリアンス
4.2.2 k-近傍法におけるトレードオフ
5 サポートベクターマシン
5.1 線形分類の問題点
5.1.1 SVM の定式化
5.1.2 双対問題化
5.1.3 KKT 条件とサポートベクター
5.2 ソフトマージン
5.3 カーネル法
5.4 学習アルゴリズム
5.5 回 帰
5.5.1 ε-インセンシティブ損失
5.5.2 最適化問題としての定式化
6 オンライン学習
6.1 概 要
6.1.1 概念と定式化
6.1.2 評価指標
6.2 正則化項付き累積損失最小化法
6.2.1 累積損失最小化法
6.2.2 正則化項付き方法
6.2.3 劣勾配
6.2.4 オンライン勾配降下法の Regret 上界
6.3 パーセプトロン
6.4 Passive-Aggressive アルゴリズム
6.4.1 線形分離可能な場合
6.4.2 ソフトマージン PA アルゴリズム
6.5 ラウンド数の対数オーダの収束
6.6 双対化座標降下法
7 クラスタリング
7.1 距離の定義
7.1.1 クラスタリングと距離
7.1.2 種々の距離と類似度
7.1.3 Mahalanobis 距離
7.2 階層的凝集型クラスタリング
7.2.1 デンドログラム形成とクラスタ抽出
7.2.2 クラスタ間距離の諸定義
7.3 K-平均法
7.4 評価法
8 EM アルゴリズム
8.1 潜在変数を持つモデル
8.2 EM アルゴリズムの導出
8.3 EM アルゴリズムの適用例
8.3.1 不完全な観測データ
8.3.2 混合正規分布
8.4 事前分布のパラメタ初期値の推定
9 Markov 連鎖 Monte Carlo 法
9.1 サンプリング法
9.1.1 必要性
9.1.2 Monte Carlo EM アルゴリズム
9.1.3 次元の呪い
9.2 重点サンプリング
9.3 Markov 連鎖 Monte Carlo 法
9.3.1 基本原理
9.3.2 Metropolis–Hastings アルゴリズム
9.3.3 Gibbs サンプリング
9.3.4 条件付き確率
9.4 粒 子 フィル タ
参考文献
おわりに
索 引

キーワード

2 クラス分類 2 乗バイアス 2 乗損失 Bayes（ベイズ）推定 Bernoulli（ベルヌーイ）分布 Bregman（ブレグマン）ダイバージェンス cosine 類似度 Dice（ダイス）係数 Dirichlet（ディリクレ）分布 EM アルゴリズム F 値 Fenchel–Young（フェンツェル–ヤング）不等式 Fenchel（フェンツェル）共役 Gauss（ガウス）分布 Gaussian（ガウシアン）カーネル Gibbs（ギッブス）サンプリング Jaccard（ジャカード）係数 K-平均法 k-近傍法 Kalman（カルマン）フィルタ KKT 条件 L-Lipschitz（リプシッツ） L1 正則化 L2 正則化 Laplace（ラプラス）分布 leave-one-out 交差検定 Mahalanobis（マハラノビス）距離 MAP 推定 Markov（マルコフ）連鎖 Monte Carlo（モンテカルロ）法 Monte Carlo（モンテカルロ）EM アルゴリズム N 点平均精度 N-分割交差検定 naive Bayes（ナイーブベイズ）分類 Passive-Aggressive（パッシブ・アグレッシブ）アルゴリズム ridge（リッジ）正則化 SMO アルゴリズム tf·idf Wishart（ウィシャート）分布 アダブースト エポック オンライン勾配降下法 オンライン学習 カーネル カーネル行列 ガンマ分布 ガンマ関数 クラス クラスタ クラスタリング サポートベクター サポートベクターマシン サンプリング法 シグモイド関数 ソフトマージン データスパース性 データマイニング テキストコーパス デンドログラム パーセプトロン バッグ バッチ学習 バリアンス ビッグデータ ヒンジ損失 フォロー・ザ・リーダ フォロー・ザ・レギュラライズド・リーダ ベータ分布 マンハッタン距離 ラウンド ラベルなしデータ ラベル付きデータ リグレット ロジスティック損失 一般化 EM アルゴリズム 上界 予測過程 交差検定 代理損失 共役事前分布 再現率 分割表 分類 分類器 劣勾配 劣微分 回帰 多クラス分類 多重集合 多項分布 学習過程 定常的 尤度 属性 平均適合率 座標降下法 形態素解析 指数型分布族 指数損失 損失 損失関数 教師あり学習 教師なし学習 最大事後確率推定 最尤推定 次元の呪い 正則化項 正規方程式 正解率 汎化性能 混合モデル 混合分布 混合正規分布 潜在変数 独立同一分布 生成モデル 粒子フィルタ 精度 精度行列 純度 素性 素性エンジニアリング 素性選択 累積損失 経験 Bayes（ベイズ）法 線形分離可能 線形回帰 計画行列 訓練データ 評価データ 詳細釣り合い条件 識別モデル 逆純度 過学習 過適合 都市ブロック距離 重点サンプリング 重点再サンプリング法 開発データ 階層的凝集型クラスタリング 隠れ変数 顕在変数