論文の概要: Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL

• arxiv url: http://arxiv.org/abs/2505.19923v1
• Date: Mon, 26 May 2025 12:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.434017
• Title: Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
• Title（参考訳）: Bellmanのアップデートを信頼するために学ぶ - オフラインRLのための選択的な状態適応正規化
• Authors: Qin-Wen Luo, Ming-Kun Xie, Ye-Wen Wang, Sheng-Jun Huang,
• Abstract要約: オフライン強化学習のための選択的状態適応正規化法を提案する。 提案手法はオフラインとオフラインの両方で最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 36.65926744075032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning (RL) aims to learn an effective policy from a static dataset. To alleviate extrapolation errors, existing studies often uniformly regularize the value function or policy updates across all states. However, due to substantial variations in data quality, the fixed regularization strength often leads to a dilemma: Weak regularization strength fails to address extrapolation errors and value overestimation, while strong regularization strength shifts policy learning toward behavior cloning, impeding potential performance enabled by Bellman updates. To address this issue, we propose the selective state-adaptive regularization method for offline RL. Specifically, we introduce state-adaptive regularization coefficients to trust state-level Bellman-driven results, while selectively applying regularization on high-quality actions, aiming to avoid performance degradation caused by tight constraints on low-quality actions. By establishing a connection between the representative value regularization method, CQL, and explicit policy constraint methods, we effectively extend selective state-adaptive regularization to these two mainstream offline RL approaches. Extensive experiments demonstrate that the proposed method significantly outperforms the state-of-the-art approaches in both offline and offline-to-online settings on the D4RL benchmark.
• Abstract（参考訳）: オフライン強化学習(RL)は、静的データセットから効果的なポリシーを学ぶことを目的としている。 外挿エラーを軽減するために、既存の研究はしばしばすべての州で値関数やポリシー更新を均一に調整する。 弱い正規化強度は外挿エラーと値過大評価に対処できないが、強い正規化強度はポリシー学習を行動のクローンにシフトさせ、ベルマン更新によって可能となる潜在的なパフォーマンスを妨げる。 この問題に対処するために、オフラインRLに対する選択的状態適応正規化法を提案する。 具体的には、状態適応正則化係数を導入し、高品質な動作に規則化を選択的に適用し、低品質な動作に対する厳密な制約による性能劣化を回避することを目的としている。 代表値正規化手法、CQL、明示的なポリシー制約手法の接続を確立することにより、選択的な状態適応正規化を2つの主流のオフラインRLアプローチに効果的に拡張する。 大規模な実験により,提案手法はD4RLベンチマークのオフラインとオフラインの両オフライン設定において,最先端のアプローチを著しく上回ることを示した。

関連論文リスト

• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Model-based trajectory stitching for improved behavioural cloning and its applications [7.462336024223669]
  トラジェクティブ・スティッチング(TS)は、元のデータで切断された状態のペアを縫い合わせることで、新しいトラジェクトリを生成する。 古い軌道を新しい軌道に置き換える反復的プロセスが、基礎となる行動方針を漸進的に改善することを示した。
  論文  参考訳（メタデータ） (2022-12-08T14:18:04Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
  オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。 適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。 ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-11-15T15:59:11Z)
• Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning [62.19209005400561]
  オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。 オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。 政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
  論文  参考訳（メタデータ） (2022-06-14T20:56:16Z)
• Supported Policy Optimization for Offline Reinforcement Learning [74.1011309005488]
  オフライン強化学習(RL)に対する政策制約手法は、通常、パラメータ化や正規化を利用する。 規則化手法は学習方針と行動方針の分岐を減少させる。 本稿では、密度に基づくサポート制約の理論的定式化から直接導出した支援政策最適化(SPOT)について述べる。
  論文  参考訳（メタデータ） (2022-02-13T07:38:36Z)
• Offline Reinforcement Learning with Soft Behavior Regularization [0.8937096931077437]
  本研究では,オフライン設定で使用可能な新しいポリシー学習目標を導出する。 以前のアプローチで使用されていた状態非依存の正規化とは異なり、このテキストソフト正規化はポリシー逸脱のより自由な自由を可能にする。 実験結果から,SBACは連続的な制御ロコモーションと操作タスクのセットにおいて,最先端技術に適合または優れることが示された。
  論文  参考訳（メタデータ） (2021-10-14T14:29:44Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。