はじめに

　強化学習(Reinforcement learning)の勉強をするにあたり，オイラリー・ジャパンから出版されているゼロから作るDeep Learning ❹を読んだ．理解を深めるため，勉強メモを書いた．

目次

　各見出しがそのまま記事へのリンクになっている¹．番号が振られているが，本の章番号と対応しているわけではない．

1. 　用語確認
2. 　ベルマン方程式
3. 　動的計画法
4. 　モンテカルロ法
5. 　TD法
6. 　ニューラルネットワーク(基本編)
7. 　ニューラルネットワーク(実装編)
8. 　(WIP) DQN
9. 　方策勾配法
10. 　(WIP) タイトル未定(ケーススタディ的なやつを書く)
11. 　Extra Material (付録)

最後のExtra Materialには，記号や慣習のまとめや，数学に関する知識などが書いてある．

その他

• OpenAI Spinning Upの内容も参考にしている．
  • このサイトは，ゼロから作るDeep Learning ❹の参考文献にもなっている．英語に強い抵抗がないのであれば，とても参考になる．
• ゼロから作るDeep Learning ❹はわかりやすかった．
• 「○○である」とか「○○してほしい」のように，おまえは何様なんだよという文体で書いてあるので，不快に感じたらごめんなさい．
  • 「である」調にした深い理由はない．

参考文献

• ゼロから作るDeep Learning ❹
• OpenAI Spinning Up

感想

理論を理解する必要性

　私自身，習うより慣れ派なので，さっさと実装して結果を見て，コード見て何をやっているか理解したいという気持ちが強かった．しかし，強化学習に関しては，理論を先に理解する必要があると感じた．ある問題を解くプログラムをあって，別の問題を解くプログラムへと応用したい場合に，理屈を理解していないと何をどう変えればいいのかが全くわからない．分野の性質上，正しく実装できたとしても良い結果が得られるとは限らない．また，変えられる場所が多かったり，そもそも手法が使えなかったり，手探りで動かしていくのはかなり難しい(完全に理解してからじゃないと実装できないというわけではない．なんとなく理解した時点で実装するのがじぶんに合っていた，ここら辺は個人差がありそう)．