論文の概要: Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration

• arxiv url: http://arxiv.org/abs/2601.11953v1
• Date: Sat, 17 Jan 2026 08:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.39224
• Title: Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
• Title（参考訳）: 安全な探査のための制約付き強化学習における過小評価バイアスの制御
• Authors: Shiqing Gao, Jiaxin Ding, Luoyi Fu, Xinbing Wang,
• Abstract要約: Constrained Reinforcement Learning (CRL) は、制約を満たしながら累積報酬を最大化することを目的としている。 既存のCRLアルゴリズムは、トレーニング中に重大な制約違反に遭遇し、安全クリティカルなシナリオにおける適用性を制限する。 メモリ駆動型本質的コスト推定(MICE)手法を提案する。
• 参考スコア（独自算出の注目度）: 42.720459553340326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained Reinforcement Learning (CRL) aims to maximize cumulative rewards while satisfying constraints. However, existing CRL algorithms often encounter significant constraint violations during training, limiting their applicability in safety-critical scenarios. In this paper, we identify the underestimation of the cost value function as a key factor contributing to these violations. To address this issue, we propose the Memory-driven Intrinsic Cost Estimation (MICE) method, which introduces intrinsic costs to mitigate underestimation and control bias to promote safer exploration. Inspired by flashbulb memory, where humans vividly recall dangerous experiences to avoid risks, MICE constructs a memory module that stores previously explored unsafe states to identify high-cost regions. The intrinsic cost is formulated as the pseudo-count of the current state visiting these risk regions. Furthermore, we propose an extrinsic-intrinsic cost value function that incorporates intrinsic costs and adopts a bias correction strategy. Using this function, we formulate an optimization objective within the trust region, along with corresponding optimization methods. Theoretically, we provide convergence guarantees for the proposed cost value function and establish the worst-case constraint violation for the MICE update. Extensive experiments demonstrate that MICE significantly reduces constraint violations while preserving policy performance comparable to baselines.
• Abstract（参考訳）: Constrained Reinforcement Learning (CRL) は、制約を満たしながら累積報酬を最大化することを目的としている。 しかし、既存のCRLアルゴリズムはトレーニング中に重大な制約違反に遭遇し、安全クリティカルなシナリオにおける適用性を制限している。 本稿では,これらの違反に寄与する要因として,コスト価値関数の過小評価を同定する。 この問題に対処するため,メモリ駆動型本質的コスト推定(MICE)手法を提案する。 フラッシュバブルメモリにインスパイアされたMICEは、人間が危険を避けるために危険な体験を鮮やかに思い出す。 固有のコストは、これらのリスク領域を訪問する現在の状態の擬似カウントとして定式化される。 さらに,本質的なコストを取り入れ,バイアス補正戦略を採用する,外生的・内生的コスト価値関数を提案する。 この関数を用いて、信頼領域内の最適化目標を、対応する最適化手法とともに定式化する。 理論的には、提案したコスト値関数の収束保証を提供し、MICE更新の最悪の制約違反を確立する。 大規模な実験により、MICEは基準に匹敵する政策性能を維持しながら、制約違反を著しく低減することが示された。

関連論文リスト

• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Cost-aware Stopping for Bayesian Optimization [46.95172329282389]
  本稿では,様々な評価コストに適応し,チューニングが不要なベイズ最適化のためのコスト対応停止則を提案する。 我々は,最先端の取得関数と組み合わせた場合,停止規則によって得られる期待累積評価コストを拘束する理論的な保証を証明した。
  論文  参考訳（メタデータ） (2025-07-16T17:54:14Z)
• Imitate the Good and Avoid the Bad: An Incremental Approach to Safe Reinforcement Learning [11.666700714916065]
  制約付きRLは強化学習における安全な行動を実施するためのフレームワークである。 制約付きRLを解くための最近の手法は、軌道に基づくコスト制約を代理問題に変換する。 トラジェクトリに基づくコスト制約を変更しず、代わりにグッドのトラジェクトリを模倣するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-16T08:48:46Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)
• Solving Richly Constrained Reinforcement Learning through State Augmentation and Reward Penalties [8.86470998648085]
  主な課題は、ポリシーを使用して蓄積された期待されるコストを扱うことだ。 既存の手法は、政策全体に対するこのコスト制約を、局所的な決定に対する制約に変換する革新的な方法を開発した。 我々は、拡張状態空間と報酬ペナルティを有する制約付きRLに等価な制約のない定式化を提供する。
  論文  参考訳（メタデータ） (2023-01-27T08:33:08Z)
• AutoCost: Evolving Intrinsic Cost for Zero-violation Reinforcement Learning [3.4806267677524896]
  我々は、制約付きRLがゼロ違反性能を達成するのに役立つコスト関数を自動的に検索するフレームワークであるAutoCostを提案する。 我々は,我々のコスト関数を用いた補助エージェントの性能を,同じ政策学習者を用いたベースラインエージェントに付加的な内在的コストを与えるために,外在的コストのみを伴って比較した。
  論文  参考訳（メタデータ） (2023-01-24T22:51:29Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。