論文の概要: CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.23576v1
• Date: Sun, 26 Apr 2026 07:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.442166
• Title: CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
• Title（参考訳）: CAPSULE:安全不確実性を考慮した強化学習のための制御理論的行動摂動
• Authors: Rahul Narava, Siddharth Verma, Ojas Jain, Shashi Shekhar Jha, Mayank Shekhar Jha,
• Abstract要約: オフライン環境で確率論的制御-アフィンダイナミクスモデルを学習する安全な強化学習フレームワークを提案する。 提案手法は,既存のベースラインに匹敵するリターンを達成すると同時に,安全性違反を著しく低減する。
• 参考スコア（独自算出の注目度）: 2.28224729577679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring safe exploration in high-dimensional systems with unknown dynamics remains a significant challenge. Existing safe reinforcement learning methods often provide safety guarantees only in expectation, which can still lead to safety violations. Control-theoretic approaches, in contrast, offer hard constraint-based safety guarantees but typically assume access to known system dynamics or require accurate estimation of control-affine models. In this paper, we propose a safe reinforcement learning framework that learns a probabilistic control-affine dynamics model in an offline setting. The learned model is leveraged to explicitly construct control barrier functions (CBFs) that incorporate model uncertainty to provide conservative safety constraints. These CBF constraints are enforced through an online constraint-based action correction mechanism, enabling safe exploration without overly restricting task performance. Empirical evaluations on nonlinear, complex continuous-control benchmarks demonstrate that our approach achieves returns comparable to those of existing baselines while significantly reducing safety violations.
• Abstract（参考訳）: 未知の力学を持つ高次元系の安全な探査は依然として重要な課題である。 既存の安全強化学習手法は、しばしば期待された場合にのみ安全保証を提供するが、それでも安全違反につながる可能性がある。 対照的に制御理論のアプローチは、厳密な制約ベースの安全保証を提供するが、一般的には既知のシステムダイナミクスへのアクセスを前提とするか、制御アフィンモデルの正確な推定を必要とする。 本稿では,オフライン環境下で確率論的制御-アフィンダイナミクスモデルを学習する安全な強化学習フレームワークを提案する。 学習したモデルは、モデル不確実性を組み込んだ制御バリア関数(CBF)を明示的に構築し、保守的な安全制約を提供する。 これらのCBF制約は、オンライン制約に基づく行動補正機構を通じて実施され、タスク性能を過度に制限することなく安全な探索を可能にする。 非線形で複雑な連続制御ベンチマークに関する実証的な評価は、我々のアプローチが既存のベースラインに匹敵するリターンを達成し、安全性の侵害を著しく低減することを示した。

関連論文リスト

• BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
  BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T18:19:46Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Safely Learning Controlled Stochastic Dynamics [61.82896036131116]
  システム力学の安全な探索と効率的な推定を可能にする手法を提案する。 学習後、学習モデルはシステムのダイナミクスの予測を可能にし、任意の制御の安全性検証を可能にする。 我々は、真の力学のソボレフ正則性を高めることにより、安全性と適応学習率の向上を理論的に保証する。
  論文  参考訳（メタデータ） (2025-06-03T11:17:07Z)
• Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical Systems [15.863561935347692]
  非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。 制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。 我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:39:20Z)
• Safe Online Dynamics Learning with Initially Unknown Models and Infeasible Safety Certificates [45.72598064481916]
  本稿では、制御バリア関数(CBF)2次コーンプログラムに基づく、堅牢な安全証明書を備えた学習ベースの設定について考察する。 制御バリア関数証明書が実現可能ならば,その安全性を確保するため,本手法では,データ収集と制御バリア関数制約の実現可能性の回復のために,システムダイナミクスを探索する。
  論文  参考訳（メタデータ） (2023-11-03T14:23:57Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。