論文の概要: Combing Policy Evaluation and Policy Improvement in a Unified
f-Divergence Framework
- arxiv url: http://arxiv.org/abs/2109.11867v1
- Date: Fri, 24 Sep 2021 10:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 21:39:56.728489
- Title: Combing Policy Evaluation and Policy Improvement in a Unified
f-Divergence Framework
- Title（参考訳）: 統一 f-divergence フレームワークにおける政策評価と政策改善
- Authors: Chen Gong, Qiang He, Yunpeng Bai, Xiaoyu Chen, Xinwen Hou, Yu Liu,
Guoliang Fan
- Abstract要約: 学習方針とサンプリング方針のf分割について検討し、f-divergence Reinforcement Learning(FRL)と呼ばれる新しいDRLフレームワークを導出する。
FRL フレームワークは,1) f-divergence によって政策評価と政策改善プロセスを同時に導出すること,2) 値関数の過大評価問題を緩和すること,の2つの利点を実現する。
- 参考スコア（独自算出の注目度）: 33.90259939664709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The framework of deep reinforcement learning (DRL) provides a powerful and
widely applicable mathematical formalization for sequential decision-making. In
this paper, we start from studying the f-divergence between learning policy and
sampling policy and derive a novel DRL framework, termed f-Divergence
Reinforcement Learning (FRL). We highlight that the policy evaluation and
policy improvement phases are induced by minimizing f-divergence between
learning policy and sampling policy, which is distinct from the conventional
DRL algorithm objective that maximizes the expected cumulative rewards.
Besides, we convert this framework to a saddle-point optimization problem with
a specific f function through Fenchel conjugate, which consists of policy
evaluation and policy improvement. Then we derive new policy evaluation and
policy improvement methods in FRL. Our framework may give new insights for
analyzing DRL algorithms. The FRL framework achieves two advantages: (1) policy
evaluation and policy improvement processes are derived simultaneously by
f-divergence; (2) overestimation issue of value function are alleviated. To
evaluate the effectiveness of the FRL framework, we conduct experiments on
Atari 2600 video games, which show that our framework matches or surpasses the
DRL algorithms we tested.
- Abstract（参考訳）: 深層強化学習(DRL)の枠組みは、シーケンシャルな意思決定のために強力で広く適用可能な数学的形式を提供する。
本稿では,f-divergence Reinforcement Learning(FRL)と呼ばれる,学習方針とサンプリング方針のf-diergenceの研究から始め,新しいDRLフレームワークを導出する。
本稿では,学習方針とサンプリング方針のf分割を最小化することで,政策評価と政策改善の段階が引き起こされることを強調し,期待される累積報酬を最大化する従来のDRLアルゴリズムの目的とは異なっている。
さらに,この枠組みを,政策評価と政策改善からなるFenchel共役を通じて,特定のf関数を持つサドルポイント最適化問題に変換する。
次に、FRLにおける新しい政策評価と政策改善手法を導出する。
我々のフレームワークはDRLアルゴリズムを解析するための新たな洞察を与えるかもしれない。
FRL フレームワークは,1) f-divergence によって政策評価と政策改善プロセスを同時に導出すること,2) 値関数の過大評価問題を緩和すること,の2つの利点を実現する。
FRL フレームワークの有効性を評価するため,我々は Atari 2600 のゲームで実験を行い,テストした DRL アルゴリズムと一致するか上回っていることを示す。
関連論文リスト
- Reflective Policy Optimization [20.228281670899204]
リフレクティブポリシー最適化(RPO) 政策最適化のための過去と将来の状態対応情報。
RPOはエージェントにイントロスペクションの権限を与え、現在の状態内でのアクションの変更を可能にする。
RPOの有効性と有効性は2つの強化学習ベンチマークで実証された。
論文 参考訳（メタデータ） (2024-06-06T01:46:49Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Counterfactual Explanation Policies in RL [3.674863913115432]
COUNTERPOLは、反実的説明を用いて強化学習ポリシーを分析する最初のフレームワークである。
RLにおけるCounterpolと広く利用されている信頼領域ベースのポリシー最適化手法の理論的関係を確立する。
論文 参考訳（メタデータ） (2023-07-25T01:14:56Z) - Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds
Globally Optimal Policy [95.98698822755227]
本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。
本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T05:02:26Z) - CRPO: A New Approach for Safe Reinforcement Learning with Convergence
Guarantee [61.176159046544946]
安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。
これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
論文 参考訳（メタデータ） (2020-11-11T16:05:14Z) - Expert-Supervised Reinforcement Learning for Offline Policy Learning and
Evaluation [21.703965401500913]
本稿では,オフライン政策学習のための不確実性定量化手法であるExpert-Supervised RL (ESRL) フレームワークを提案する。
具体的には,1)仮説テストによる安全かつ最適なポリシの学習,2)ESRLはアプリケーションコンテキストに合わせて異なるレベルのリスク逆実装を可能にし,3)後続分布を通してESRLのポリシーを解釈する方法を提案する。
論文 参考訳（メタデータ） (2020-06-23T17:43:44Z) - Reinforcement Learning [36.664136621546575]
強化学習(Reinforcement Learning, RL)は適応制御のための一般的なフレームワークであり、多くの領域で効率的であることが証明されている。
本章では、RLの基本的枠組みを示し、優れた政策を学ぶために開発された2つのアプローチのメインファミリーを思い出す。
論文 参考訳（メタデータ） (2020-05-29T06:53:29Z) - Implementation Matters in Deep Policy Gradients: A Case Study on PPO and
TRPO [90.90009491366273]
本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。
具体的には,「コードレベルの最適化」の結果について検討する。
以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
論文 参考訳（メタデータ） (2020-05-25T16:24:59Z) - Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。
本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。
提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
論文 参考訳（メタデータ） (2020-03-09T13:05:47Z) - Population-Guided Parallel Policy Search for Reinforcement Learning [17.360163137926]
都市外強化学習(RL)の性能向上を図るために,新たな人口誘導型並列学習手法を提案する。
提案手法では,複数の同一学習者が独自の値関数とポリシーを共用し,共通体験再生バッファを共有し,最良のポリシー情報のガイダンスと協調して適切なポリシーを探索する。
論文 参考訳（メタデータ） (2020-01-09T10:13:57Z) - Reinforcement Learning via Fenchel-Rockafellar Duality [97.86417365464068]
凸双対性の基本概念を概観し、非常に一般的で非常に有用なフェンシェル・ロッカフェラー双対性に焦点をあてる。
この双対性は、政策評価や最適化、オンラインまたはオフライン学習、割引または未公表の報酬など、さまざまな強化学習設定にどのように適用できるかを要約する。
論文 参考訳（メタデータ） (2020-01-07T02:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。