どうも、カタミチです。
さて、今日も「ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版」(以降、『当書』)で勉強です。
今日も教師あり学習の手法についてですね。
ブースティング
4つ目はブースティングです。前回のランダムフォレストの時に出てきた、バギングの友達らしいです。
一部のデータを抽出して複数のモデルを学習させる点、つまりアンサンブル学習である点は共通しているようです。
ブースティングがバギングと違うのは、複数のモデルを並列して作成するのではなく、逐次的に作成する…というのが違いだそうです。
1つ作成して学習→誤認識データを優先的に正しく分類できるよう学習→（繰り返す）→最終的に1つのモデルとして出力
という流れですね。「誤認識データを優先的に正しく分類できるよう学習」というのは、学習データに重み付けを行う行為のようです。バギングの例であるランダムフォレストでは、学習データを間引いて色んな木を作るイメージでしたが、ブースティングでは重み付けを使ってモデルを少しずつ変えていくようです。
一般的にはバギングより学習に時間が掛かるものの高い精度が見込まれるとの事で、実践でもかなり使えそうです。ブースティングの手法としては、決定木を使った「勾配ブースティング」などが有名だ、と本書にはありました。
機械学習の勉強を始めてから時々見かける「XGBoost」や「LightGBM」といったキーワードも、ブースティング関連のようですね。
ということで
うーん、なかなか進みが悪い…。果たして3月のG検定試験に間に合うかなぁ。ま、ボチボチやっていきますかねー。
ではまた。
勉強に使ってる書籍はこちら↓
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版
