Counterfactual Shapley Credit Assignment
Abstractの概要
本論文は、強化学習における時間的信用割り当てを因果的帰属問題として捉え、反事実的シャプレー値（counterfactual Shapley values）に基づく「反事実的シャプレー信用割り当て」を提案している。この手法は、軌跡に沿った行動を最終的な報酬への貢献者として扱い、ベースライン方策の下での反事実的シミュレーションを用いて、報酬をステップごとの因果的信用に再配分する。著者らは、この報酬の再配分が元の最適方策を保持するφ-MDPを定義することを示し、軌跡全体で償却線形時間の計算量を持つ一致推定量を導出している。さらに、このアイデアを方策最適化手法であるφ-PPOとして具現化し、因果的に重要な部分軌跡の更新に焦点を当てる優先軌跡リプレイと組み合わせている。
新規性
本論文の特徴的な貢献は、強化学習の原則的な因果的信用割り当てメカニズムとして反事実的シャプレー値を使用し、スキルによる効果を運や環境の確率性から明示的に分離したことである。また、この因果的帰属の枠組みを扱いやすい推定量およびPPOスタイルの学習手順と組み合わせることで、単なる説明的な分析にとどまらず具体的な学習アルゴリズムを構築している。
成果
経験的に、本手法はSkillLuckおよびDoorKeyの分析において設計された因果構造に沿って信用を割り当てており、適切なベースラインの下で因果関係のない行動にはゼロの信用を割り当てることなどが確認された。学習ベンチマークにおいて、φ-PPOはノイズの多いSkillLuckの設定で最高の性能を示し、組み合わせロックタスクではベースラインが長さ15で崩壊するのに対し、長さ10を超えてスケールすることが報告された唯一の手法である。また、ベンチマーク全体でエピソード数の点ではベースラインより速い収束が報告されているが、一部の設定では反事実的シミュレーションのコストの高さが総シミュレーション予算における効率性を制限する可能性があることも指摘されている。
論文の注目点
- 本手法は反事実的シャプレー値を介して報酬をステップごとの因果的信用に再配分し、理論的に元の最適方策を保持する。
- 一致推定量は軌跡全体のφ値を償却線形時間で計算し、λブートストラップによるバイアスとバリアンスのトレードオフをサポートする。
- 実験により、特に標準的なPPOスタイルの手法が収束しない状況において、確率性や遅延報酬を従来のベースラインよりも良好に処理できることが示されている。