論文の概要: Structural Dual Adaptation for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.00636v1
• Date: Sat, 31 Oct 2026 05:02:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:35.734324
• Title: Structural Dual Adaptation for Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習のための構造二重適応
• Abstract要約: ラグランジアン緩和による強化学習における安全性の制約を2次元法で強制する。 本稿では,このバンバン応答を,電流コスト中心化,軌道重み付け,二次正則化による一意な連続応答に置き換える構造的DuaL適応(SDLA)を提案する。
• 参考スコア（独自算出の注目度）: 18.581151417940976
• License:
• Abstract: Primal-dual methods enforce safety constraints in reinforcement learning through Lagrangian relaxation. For a fixed policy, the exact bounded multiplier response exhibits bang-bang switching at the constraint boundary. Practical gradient updates can oscillate through coupling with policy optimization. We propose Structural DuaL Adaptation (SDLA), which replaces this bang-bang response with a unique continuous response through current-cost centering, trajectory weighting, and quadratic regularization. We characterize activation thresholds and response sensitivity. Ternary search computes multipliers without a dual gradient stepsize. For entropy-regularized tabular policies, we bound equilibrium constraint violations alongside reward gaps. We establish convergence of delayed updates under mild assumptions. Neural PPO/SAC experiments on OmniSafe and HASARD demonstrate competitive rewards with improved constraint tracking. On HASARD, PPO-SDLA achieves higher reported mean reward than the human baseline in six of eighteen settings while meeting the respective mean-cost budgets, including four with lower mean cost. To the best of our knowledge, this is the first report of higher mean reward at lower mean cost than the human baseline across multiple HASARD settings.
• Abstract（参考訳）: ラグランジアン緩和による強化学習における安全性の制約を2次元法で強制する。 固定ポリシーでは、厳密な有界乗算器応答は制約境界でバンバンスイッチングを示す。 実際の勾配更新は、ポリシー最適化との結合によって振動する。 本稿では,このバンバン応答を,電流コスト中心化,軌道重み付け,二次正則化による一意な連続応答に置き換える構造的DuaL適応(SDLA)を提案する。 アクティベーション閾値と応答感度を特徴付ける。 第三次探索は、二階勾配を踏まない乗算器を計算する。 エントロピー規則化された表型ポリシに対しては、報酬ギャップとともに平衡制約違反を拘束する。 軽微な仮定の下で遅延更新の収束を確立する。 OmniSafeとHASARDのニューラルPPO/SAC実験は、制約追跡の改善による競争的な報酬を実証している。 HASARDでは、PPO-SDLAは、平均コストの低い4つを含む各平均コスト予算を満たしながら、18のセッティングのうち6つの設定において、人間のベースラインよりも高い報告平均報酬を達成する。 私たちの知る限りでは、複数のHASARD設定における人間のベースラインよりも低い平均コストで平均報酬が上がるという最初の報告です。

関連論文リスト

• Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
  REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-10-02T11:43:52Z)
• Robust Peak-cost Constrained Reinforcement Learning [10.897248153175935]
  我々は、堅牢なピークコスト制約強化学習(RP-CRL)について検討する。 目的は、軌道に沿って発生する最大コストを制御しながら、期待される報酬を最大化することである。 標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。
  論文  参考訳（メタデータ） (2026-07-16T21:00:50Z)
• Learning to Bid with Unknown Private Values in Budget-Constrained First-Price Auctions [29.924744639408786]
  制約付きFPAに対して,遅延LTE評価パラメータと競合相手の入札分布を協調的に学習する,一元的二元的フレームワークを提案する。 推定誤差はラグランジアン乗算器によって動的にスケールされ、後悔を招く可能性がある。 提案手法は, ほぼ最適な後悔の保証を達成し, 潜在的評価を伴う制約入札に対する理論上は初めての解決法を提供する。
  論文  参考訳（メタデータ） (2026-05-10T10:00:25Z)
• Near-Optimal Primal-Dual Algorithm for Learning Linear Mixture CMDPs with Adversarial Rewards [0.8984888893275712]
  有限-水平線形混合制約マルコフ決定過程における安全強化学習について検討する。 本稿では, 後悔と制約違反境界を実現するプリミティブ・デュアルポリシー最適化アルゴリズムを提案する。 これは、線形混合CMDPと逆効果を持つ最初の証明可能な効率のよいアルゴリズムである。
  論文  参考訳（メタデータ） (2026-03-29T21:51:33Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Off-Policy Primal-Dual Safe Reinforcement Learning [16.918188277722503]
  本研究では, 累積コスト推定における誤差が, 法外手法を用いた場合のコストの大幅な過小評価を引き起こすことを示す。 本稿では,予測の不確実性を考慮し,制約充足領域の政策を学習する保守的な政策最適化を提案する。 次に,評価の不確実性を徐々に減少させることにより,そのような過小評価の解消を支援するために,局所的な政策凸化を導入する。
  論文  参考訳（メタデータ） (2024-01-26T10:33:38Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。