論文の概要: Robust Peak-cost Constrained Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.15457v1
• Date: Thu, 16 Jul 2026 21:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.702065
• Title: Robust Peak-cost Constrained Reinforcement Learning
• Title（参考訳）: ロバストピークコスト制約強化学習
• Abstract要約: 我々は、堅牢なピークコスト制約強化学習(RP-CRL)について検討する。 目的は、軌道に沿って発生する最大コストを制御しながら、期待される報酬を最大化することである。 標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。
• 参考スコア（独自算出の注目度）: 10.897248153175935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study robust peak-cost constrained reinforcement learning (RP-CRL), where the objective is to maximize expected reward while controlling the maximum cost encountered along a trajectory. This setting is motivated by safety-critical applications in which a single large violation can be catastrophic and therefore cannot be adequately captured by the standard CMDP framework based on expected cumulative cost. Existing reachability-constrained RL methods adopt Lagrangian-based approaches, yet the underlying duality properties of peak-cost constrained MDPs remain unclear. We show that, unlike standard CMDPs, peak-cost constrained MDPs may not admit zero duality gap. We further consider a robust formulation to address simulator-to-real-world mismatch in the transition dynamics. To solve this problem, we develop a surrogate optimization framework and a robust value estimation method based on integral probability metrics. We prove that, with appropriate hyperparameter choices, the surrogate solution attains the same robust reward value as the original problem while violating the constraint by at most epsilon. Experiments show that the proposed method effectively enforces safety under dynamics perturbations while retaining strong reward performance.
• Abstract（参考訳）: そこでは,軌道上で発生する最大コストを制御しながら,期待される報酬を最大化することを目的として,堅牢なピークコスト制約強化学習(RP-CRL)について検討する。 この設定は、単一の大きな違反が破滅的になり得る安全クリティカルなアプリケーションによって動機付けられており、その結果、期待される累積コストに基づいて標準CMDPフレームワークによって適切に捕捉できない。 既存のリーチビリティ制約付きRL法はラグランジアンに基づくアプローチを採用しているが、ピークコスト制約付きMDPの基本的な双対性特性はいまだ不明である。 標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。 さらに、遷移力学におけるシミュレータと実世界のミスマッチに対処するための堅牢な定式化について考察する。 この問題を解決するために,積分確率測定値に基づくサロゲート最適化フレームワークとロバストな値推定手法を開発した。 適切なハイパーパラメータ選択により、サロゲート解が元の問題と同じ頑健な報酬値を得ると同時に、ほとんどのエプシロンによる制約を破ることが証明される。 実験により,提案手法は,強い報奨性能を維持しつつ,動的摂動下での安全性を効果的に向上することを示した。

関連論文リスト

• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Near-Constant Strong Violation and Last-Iterate Convergence for Online CMDPs via Decaying Safety Margins [31.581870065866568]
  制約付きマルコフ決定過程(CMDP)における安全なオンライン強化学習を,強い後悔と違反の指標の下で研究する。 サブリニアの強い報酬を後悔させる既存の原始二重法は、強い制約違反の増大を招いたり、あるいは固有振動による平均点収束に制限されたりしている。 本稿では,マルチ正規化探索(FlexDOME)アルゴリズムによるフレキシブルセーフティドメイン最適化を提案する。
  論文  参考訳（メタデータ） (2026-02-11T14:54:26Z)
• Constraint-Aware Generative Auto-bidding via Pareto-Prioritized Regret Optimization [8.514099612407062]
  PRO-Bidは2つの相乗的メカニズムに基づく制約対応な自動入札フレームワークである。 最先端のベースラインに比べて、制約満足度や価値獲得に優れています。
  論文  参考訳（メタデータ） (2026-02-09T04:41:30Z)
• Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration [42.720459553340326]
  Constrained Reinforcement Learning (CRL) は、制約を満たしながら累積報酬を最大化することを目的としている。 既存のCRLアルゴリズムは、トレーニング中に重大な制約違反に遭遇し、安全クリティカルなシナリオにおける適用性を制限する。 メモリ駆動型本質的コスト推定(MICE)手法を提案する。
  論文  参考訳（メタデータ） (2026-01-17T08:02:51Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Latent State Marginalization as a Low-cost Approach for Improving Exploration [79.12247903178934]
  我々はMaxEntフレームワークにおける潜在変数ポリシーの採用を提案する。 我々は、潜在変数ポリシーが、潜在信念状態を持つ世界モデルの下で自然に現れることを示す。 提案手法を連続制御タスクに対して実験的に検証し, 有効限界化がよりよい探索とより堅牢な訓練につながることを示した。
  論文  参考訳（メタデータ） (2022-10-03T15:09:12Z)
• Robust Constrained Reinforcement Learning [21.316736188238806]
  制約付き強化学習は、ユーティリティやコストの制約による期待される報酬を最大化することである。 モデル不確実性下での頑健な制約付き強化学習の枠組みを提案する。 目的は、不確実性セットにおけるすべてのMDPに対して、ユーティリティ/コストの制約が満たされることを保証し、不確実性セットに対する最悪の報酬パフォーマンスを最大化することである。
  論文  参考訳（メタデータ） (2022-09-14T18:29:02Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。