深層強化学習は，強化学習と深層学習の組み合わせである。この研究分野の発展により，従来機械で扱う範疇ではなかった広範囲の複雑な意思決定問題を解けるようになってきた。深層強化学習はヘルスケア，ロボティクス，スマートグリッド，金融工学，その他さまざまな領域において，新たな応用の可能性を切り拓きつつある。本書は，そのような深層強化学習に関し，強化学習の基礎から始まり，深層強化学習の主要なアルゴリズムや最先端の話題まで，豊富な参考文献も含めて幅広く網羅している。特に本書は，汎化性を向上させるノウハウや深層強化学習が実応用でどのように使われるかという観点に着目して執筆されている。

機械学習の基礎知識を有する大学生・大学院生や企業の研究者・技術者が，深層強化学習の概要を効率的に勉強したいと思ったときの最初の一冊として推薦できる構成となっている。

原著：An Introduction to Deep Reinforcement Learning, 2019
第1章　はじめに
1.1　なぜ強化学習？
1.2　本書の概要

第2章　機械学習と深層学習
2.1　教師あり学習，および偏りと過適合の概念
2.2　教師なし学習
2.3　深層学習の手法

第3章　強化学習の基礎
3.1　形式的な枠組み
3.2　方策を学習するためのさまざまな要素
3.3　データから方策を学習するためのさまざまな設定

第4章　価値ベース手法による深層強化学習
4.1　Q学習
4.2　当てはめQ学習
4.3　深層Qネットワーク
4.4　2重深層Q学習
4.5　決闘型ネットワーク構造
4.6　分布型深層Qネットワーク
4.7　多段階学習
4.8　DQNの改良版と派生手法の組み合わせ

第5章　方策勾配法による深層強化学習
5.1　確率的方策勾配
5.2　確定的方策勾配
5.3　アクター・クリティック法
5.4　自然方策勾配
5.5　信頼領域最適化
5.6　方策勾配とQ学習の組み合わせ

第6章　モデルベース手法による深層強化学習
6.1　純粋モデルベース法
6.2　モデルフリー手法とモデルベース手法の組み合わせ

第7章　汎化性
7.1　特徴選択
7.2　学習アルゴリズムと関数近似器の選択
7.3　目的関数の修正
7.4　階層的学習
7.5　最良の偏り・過適合のトレードオフの獲得

第8章　オンライン問題に特有の課題
8.1　探索・活用のジレンマ
8.2　経験再生の管理

第9章　深層強化学習のベンチマーク
9.1　ベンチマークの環境
9.2　深層強化学習ベンチマークにおけるベストプラクティス
9.3　深層強化学習のオープンソースソフトウェア

第10章　MDPを超える深層強化学習
10.1　部分観測性と関連する複数環境のMDPの分布
10.2　転移学習
10.3　明示的な報酬関数を持たない学習
10.4　マルチエージェントシステム

第11章　深層強化学習の展望
11.1　深層強化学習の成功
11.2　深層強化学習を実世界問題に適用する際の課題
11.3　深層強化学習と神経科学の関係

第12章　結論
12.1　深層強化学習の将来の発展
12.2　深層強化学習や人工知能の応用と社会への影響

付録：深層強化学習のフレームワーク

参考文献
欧文索引
和文索引