Fugu-MT 論文翻訳(概要): An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning

論文の概要: An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning

arxiv url: http://arxiv.org/abs/2106.00707v1
Date: Tue, 1 Jun 2021 18:04:19 GMT
ステータス: 処理完了
システム内更新日: 2021-06-03 14:46:15.791296
Title: An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
Title（参考訳）: ポリシーに基づく強化学習のためのエントロピー正規化自由機構
Authors: Changnan Xiao, Haosen Shi, Jiajun Fan, Shihong Deng
Abstract要約: 政策に基づく強化学習手法は、政策崩壊問題に悩まされる。ポリシーに基づく手法のために設計されたエントロピー正規化自由機構を提案する。
参考スコア（独自算出の注目度）: 1.4566990078034239
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Policy-based reinforcement learning methods suffer from the policy collapse problem. We find valued-based reinforcement learning methods with {\epsilon}-greedy mechanism are capable of enjoying three characteristics, Closed-form Diversity, Objective-invariant Exploration and Adaptive Trade-off, which help value-based methods avoid the policy collapse problem. However, there does not exist a parallel mechanism for policy-based methods that achieves all three characteristics. In this paper, we propose an entropy regularization free mechanism that is designed for policy-based methods, which achieves Closed-form Diversity, Objective-invariant Exploration and Adaptive Trade-off. Our experiments show that our mechanism is super sample-efficient for policy-based methods and boosts a policy-based baseline to a new State-Of-The-Art on Arcade Learning Environment.
Abstract（参考訳）: 政策に基づく強化学習手法は、政策崩壊問題に苦しむ。我々は,「epsilon」-greedy機構を用いた価値ベースの強化学習手法が,クローズド・フォーム・ダイバーシティ,客観的不変探索,適応的トレードオフという3つの特徴を享受できることを示す。しかし、3つの特性をすべて達成するポリシーベース手法の並列メカニズムは存在しない。本稿では,閉じた形態の多様性,客観的不変な探索,適応的トレードオフを実現する政策に基づく手法のために設計されたエントロピー正規化自由機構を提案する。実験の結果,本機構は,政策に基づく手法では極めてサンプル効率が高く,アーケード学習環境における新たな最先端技術への政策ベースラインの強化が期待できることがわかった。

関連論文リスト

SelfBC: Self Behavior Cloning for Offline Reinforcement Learning [14.573290839055316]
本研究では,これまでに学習したポリシーの指数的移動平均によって生成されたサンプルに対して,学習したポリシーを制約する新しい動的ポリシー制約を提案する。我々のアプローチは、ほぼ単調に改善された参照ポリシーをもたらす。
論文参考訳（メタデータ） (2024-08-04T23:23:48Z)
POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition [40.851324484481275]
大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-02-09T03:01:13Z)
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文参考訳（メタデータ） (2023-11-25T00:30:58Z)
Learning Control Policies for Variable Objectives from Offline Data [2.7174376960271154]
可変客観ポリシー(VOP)と呼ばれるモデルに基づくポリシー探索手法の概念拡張を導入する。ポリシーの入力として渡された目的を変更することで、ユーザはその動作を調整する自由を得たり、実行時に最適化目標を再バランスさせたりすることができる。
論文参考訳（メタデータ） (2023-08-11T13:33:59Z)
Policy Dispersion in Non-Markovian Environment [53.05904889617441]
本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
論文参考訳（メタデータ） (2023-02-28T11:58:39Z)
A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
論文参考訳（メタデータ） (2022-02-19T20:22:04Z)
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage [0.0]
モデル予測制御(MPC)に基づく政策近似に焦点を当てます。政策勾配法は,政策が(ほぼ)バンバン構造を持つ場合,政策パラメータに意味のあるステップを生じさせることに苦慮する。本稿では,内点法に基づくホモトピー戦略を提案し,学習中に方針を緩和する。
論文参考訳（メタデータ） (2021-04-06T10:37:14Z)
On Imitation Learning of Linear Control Policies: Enforcing Stability and Robustness Constraints via LMI Conditions [3.296303220677533]
線形ポリシーの模倣学習を制約付き最適化問題として定式化する。線形行列不等式 (lmi) の制約を適合ポリシーに適用することで閉ループ安定性とロバスト性が保証できることを示す。
論文参考訳（メタデータ） (2021-03-24T02:43:03Z)
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
論文参考訳（メタデータ） (2021-02-23T21:07:35Z)
Evolutionary Stochastic Policy Distillation [139.54121001226451]
本稿では,GCRS課題を解決するための進化的政策蒸留法(ESPD)を提案する。 ESPDは、政策蒸留(PD)技術により、ターゲットポリシーを一連の変種から学習することを可能にする MuJoCo制御系に基づく実験により,提案手法の学習効率が向上した。
論文参考訳（メタデータ） (2020-04-27T16:19:25Z)
Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
論文参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。