論文の概要: SelfBC: Self Behavior Cloning for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2408.02165v1
• Date: Sun, 4 Aug 2024 23:23:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:45:49.818576
• Title: SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
• Title（参考訳）: SelfBC:オフライン強化学習のための自己行動クローン
• Authors: Shirong Liu, Chenjia Bai, Zixian Guo, Hao Zhang, Gaurav Sharma, Yang Liu,
• Abstract要約: 本研究では,これまでに学習したポリシーの指数的移動平均によって生成されたサンプルに対して,学習したポリシーを制約する新しい動的ポリシー制約を提案する。 我々のアプローチは、ほぼ単調に改善された参照ポリシーをもたらす。
• 参考スコア（独自算出の注目度）: 14.573290839055316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy constraint methods in offline reinforcement learning employ additional regularization techniques to constrain the discrepancy between the learned policy and the offline dataset. However, these methods tend to result in overly conservative policies that resemble the behavior policy, thus limiting their performance. We investigate this limitation and attribute it to the static nature of traditional constraints. In this paper, we propose a novel dynamic policy constraint that restricts the learned policy on the samples generated by the exponential moving average of previously learned policies. By integrating this self-constraint mechanism into off-policy methods, our method facilitates the learning of non-conservative policies while avoiding policy collapse in the offline setting. Theoretical results show that our approach results in a nearly monotonically improved reference policy. Extensive experiments on the D4RL MuJoCo domain demonstrate that our proposed method achieves state-of-the-art performance among the policy constraint methods.
• Abstract（参考訳）: オフライン強化学習におけるポリシー制約手法は、学習されたポリシーとオフラインデータセットの相違を抑えるために追加の規則化手法を用いる。 しかし、これらの手法は行動方針に類似した過度に保守的な政策をもたらす傾向にあり、それによってパフォーマンスが制限される。 この制限について検討し、従来の制約の静的な性質に関連づける。 本稿では,以前に学習したポリシーの指数的移動平均によって生成されたサンプルに対する学習ポリシーを制約する,新しい動的ポリシー制約を提案する。 この自己拘束機構を非政治的手法に統合することにより、オフライン環境での政策崩壊を回避しつつ、非保守的な政策の学習を容易にする。 理論的には, ほぼ単調に改善された参照ポリシーが得られた。 D4RL MuJoCo ドメインの大規模実験により,提案手法が政策制約手法の最先端性能を実現することを示す。

関連論文リスト

• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Mitigating Off-Policy Bias in Actor-Critic Methods with One-Step Q-learning: A Novel Correction Approach [0.0]
  我々は,このような不一致が継続的制御に与える影響を軽減するために,新しい政策類似度尺度を導入する。 本手法は、決定論的政策ネットワークに適用可能な、適切な単一ステップのオフ・ポリシー補正を提供する。
  論文  参考訳（メタデータ） (2022-08-01T11:33:12Z)
• Supported Policy Optimization for Offline Reinforcement Learning [74.1011309005488]
  オフライン強化学習(RL)に対する政策制約手法は、通常、パラメータ化や正規化を利用する。 規則化手法は学習方針と行動方針の分岐を減少させる。 本稿では、密度に基づくサポート制約の理論的定式化から直接導出した支援政策最適化(SPOT)について述べる。
  論文  参考訳（メタデータ） (2022-02-13T07:38:36Z)
• Offline Reinforcement Learning with Soft Behavior Regularization [0.8937096931077437]
  本研究では,オフライン設定で使用可能な新しいポリシー学習目標を導出する。 以前のアプローチで使用されていた状態非依存の正規化とは異なり、このテキストソフト正規化はポリシー逸脱のより自由な自由を可能にする。 実験結果から,SBACは連続的な制御ロコモーションと操作タスクのセットにおいて,最先端技術に適合または優れることが示された。
  論文  参考訳（メタデータ） (2021-10-14T14:29:44Z)
• Behavior Constraining in Weight Space for Offline Reinforcement Learning [2.7184068098378855]
  オフラインの強化学習では、ポリシーは単一のデータセットから学ぶ必要がある。 そこで,本研究では,本手法を重み空間内で直接制約する新しいアルゴリズムを提案し,その有効性を実験で実証する。
  論文  参考訳（メタデータ） (2021-07-12T14:50:50Z)
• An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning [1.4566990078034239]
  政策に基づく強化学習手法は、政策崩壊問題に悩まされる。 ポリシーに基づく手法のために設計されたエントロピー正規化自由機構を提案する。
  論文  参考訳（メタデータ） (2021-06-01T18:04:19Z)
• On Imitation Learning of Linear Control Policies: Enforcing Stability and Robustness Constraints via LMI Conditions [3.296303220677533]
  線形ポリシーの模倣学習を制約付き最適化問題として定式化する。 線形行列不等式 (lmi) の制約を適合ポリシーに適用することで閉ループ安定性とロバスト性が保証できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:43:03Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。