論文の概要: Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration

• arxiv url: http://arxiv.org/abs/2603.23889v1
• Date: Wed, 25 Mar 2026 03:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.109062
• Title: Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
• Title（参考訳）: 制約付き最適探索によるオフポリティ・セーフ強化学習
• Authors: Guopeng Li, Matthijs T. J. Spaan, Julian F. P. Kooij,
• Abstract要約: 外部の安全強化学習手法は、累積コストにおけるコスト非依存の探索と推定バイアスによる制約違反に悩まされる。 コストバウンドなオンライン探索と保守的なオフライン分散価値学習を統合した,非政治的安全なRLアルゴリズムであるConstrained Optimistic eXploration Q-learning (COX-Q)を提案する。 安全な速度、安全なナビゲーション、自律運転タスクの実験は、COX-Qが高いサンプル効率、競争力のあるテスト安全性能、制御されたデータ収集コストを達成することを示した。
• 参考スコア（独自算出の注目度）: 14.969489432052661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When safety is formulated as a limit of cumulative cost, safe reinforcement learning (RL) aims to learn policies that maximize return subject to the cost constraint in data collection and deployment. Off-policy safe RL methods, although offering high sample efficiency, suffer from constraint violations due to cost-agnostic exploration and estimation bias in cumulative cost. To address this issue, we propose Constrained Optimistic eXploration Q-learning (COX-Q), an off-policy safe RL algorithm that integrates cost-bounded online exploration and conservative offline distributional value learning. First, we introduce a novel cost-constrained optimistic exploration strategy that resolves gradient conflicts between reward and cost in the action space and adaptively adjusts the trust region to control the training cost. Second, we adopt truncated quantile critics to stabilize the cost value learning. Quantile critics also quantify epistemic uncertainty to guide exploration. Experiments on safe velocity, safe navigation, and autonomous driving tasks demonstrate that COX-Q achieves high sample efficiency, competitive test safety performance, and controlled data collection cost. The results highlight COX-Q as a promising RL method for safety-critical applications.
• Abstract（参考訳）: 累積コストの限界として安全性が定式化されると、安全な強化学習(RL)は、データ収集と展開のコスト制約によるリターンを最大化するポリシーを学ぶことを目的としている。 安全でないRL法は高いサンプル効率を提供するが、コスト非依存の探索と累積コストの推定バイアスによる制約違反に悩まされる。 この問題に対処するために,コストバウンドなオンライン探索と保守的なオフライン分散価値学習を統合した非政治的安全なRLアルゴリズムであるConstrained Optimistic eXploration Q-learning (COX-Q)を提案する。 まず,アクション空間における報酬とコストの間の勾配の衝突を解消し,トレーニングコストを制御するために信頼領域を適応的に調整する,コスト制約のある新しい楽観的な探索戦略を提案する。 第二に、コスト価値の学習を安定させるために、切り詰められた量子的批評家を採用します。 量子批評家は、探究をガイドするためにてんかんの不確実性も定量化している。 安全な速度、安全なナビゲーション、自律運転タスクの実験は、COX-Qが高いサンプル効率、競争力のあるテスト安全性能、制御されたデータ収集コストを達成することを示した。 その結果,COX-Qは安全クリティカルなアプリケーションのための有望なRL法として注目された。

関連論文リスト

• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Imitate the Good and Avoid the Bad: An Incremental Approach to Safe Reinforcement Learning [11.666700714916065]
  制約付きRLは強化学習における安全な行動を実施するためのフレームワークである。 制約付きRLを解くための最近の手法は、軌道に基づくコスト制約を代理問題に変換する。 トラジェクトリに基づくコスト制約を変更しず、代わりにグッドのトラジェクトリを模倣するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-16T08:48:46Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• AutoCost: Evolving Intrinsic Cost for Zero-violation Reinforcement Learning [3.4806267677524896]
  我々は、制約付きRLがゼロ違反性能を達成するのに役立つコスト関数を自動的に検索するフレームワークであるAutoCostを提案する。 我々は,我々のコスト関数を用いた補助エージェントの性能を,同じ政策学習者を用いたベースラインエージェントに付加的な内在的コストを与えるために,外在的コストのみを伴って比較した。
  論文  参考訳（メタデータ） (2023-01-24T22:51:29Z)
• Enhancing Safe Exploration Using Safety State Augmentation [71.00929878212382]
  モデルフリー強化学習における安全な探索の課題に取り組む。 トレーニング中に安全予算をスケジューリングするためのポリシーを導出します。 Simmer はトレーニングを安定させ,安全RL の性能を平均的制約で向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T15:23:07Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。