Fugu-MT 論文翻訳(概要): Regularized Policies are Reward Robust

論文の概要: Regularized Policies are Reward Robust

arxiv url: http://arxiv.org/abs/2101.07012v1
Date: Mon, 18 Jan 2021 11:38:47 GMT
ステータス: 処理完了
システム内更新日: 2021-03-27 06:05:18.296607
Title: Regularized Policies are Reward Robust
Title（参考訳）: 正規化ポリシはリワードロバストである
Authors: Hisham Husain and Kamil Ciosek and Ryota Tomioka
Abstract要約: 強化学習(RL)における政策の正規化の効果について検討する。その結果,正規化目標が求める最適方針は,最悪の対向報酬の下で強化学習問題の最適方針であることがわかった。以上の結果から,政策の正則化の効果を考察し,堅牢な報酬を通じて探索の理解を深めることができた。
参考スコア（独自算出の注目度）: 33.05828095421357
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Entropic regularization of policies in Reinforcement Learning (RL) is a commonly used heuristic to ensure that the learned policy explores the state-space sufficiently before overfitting to a local optimal policy. The primary motivation for using entropy is for exploration and disambiguating optimal policies; however, the theoretical effects are not entirely understood. In this work, we study the more general regularized RL objective and using Fenchel duality; we derive the dual problem which takes the form of an adversarial reward problem. In particular, we find that the optimal policy found by a regularized objective is precisely an optimal policy of a reinforcement learning problem under a worst-case adversarial reward. Our result allows us to reinterpret the popular entropic regularization scheme as a form of robustification. Furthermore, due to the generality of our results, we apply to other existing regularization schemes. Our results thus give insights into the effects of regularization of policies and deepen our understanding of exploration through robust rewards at large.
Abstract（参考訳）: 強化学習(RL)における政策のエントロピー正則化(Entropic regularization)は、学習された政策が局所的最適政策に過度に適合する前に国家空間を十分に探索することを保証するために一般的に用いられるヒューリスティックである。エントロピーを使う主な動機は最適政策の探索と曖昧化であるが、理論的な効果は完全には理解されていない。本研究では、より一般化された正規化RLの目的とフェンシェル双対性について検討し、対角的報酬問題の形をとる双対問題を導出する。特に, 正規化対象が求める最適方針は, 最悪の対人報酬の下での強化学習問題の最適方針であることがわかった。その結果、一般的なエントロピー正規化スキームをロバスト化の形式として再解釈することができる。さらに,結果の一般性から,既存の他の正規化スキームにも適用する。以上の結果から,政策の正則化の効果を考察し,堅牢な報酬を通じて探索の理解を深めることができた。