論文の概要: Directional Constraints for Efficient Exploration in Safe Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2607.12784v1
- Date: Tue, 14 Jul 2026 13:59:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.163291
- Title: Directional Constraints for Efficient Exploration in Safe Reinforcement Learning
- Title（参考訳）: 安全な強化学習における効率的な探索のための方向性制約
- Abstract要約: 本稿では,ATACOMフレームワークを拡張して,システムの事前知識やデータから直接学習する制約を強制する手法を提案する。
ATACOM-DC (ATACOM Directional Constraints) と呼ばれる提案手法は安全性と性能のトレードオフを大幅に改善する。
本手法は,制約違反コストとタスク性能の両面から,ロボット制御タスクのシミュレーション,解析,評価を行う。
- 参考スコア（独自算出の注目度）: 19.03722256244529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning has revolutionized the landscape of robotic research, allowing robust learning of complex robotic skills in simulation. However, real-world deployment in open-ended environments requires strong safety guarantees to prevent dangerous or harmful behaviors. Safe Reinforcement Learning methods address this requirement by enforcing safety constraints. Nevertheless, learning under constraints often reduces learning speed and could lead to suboptimal task performance, as the agent must solve a more complex constrained optimization problem compared to unconstrained settings. To tackle this issue, in this work, we propose an extension of the ATACOM framework, a state-of-the-art reliable safety layer that can be integrated with existing Reinforcement Learning algorithms to enforce constraints derived from prior knowledge of the system or learned directly from data. Our proposed method, named ATACOM Directional Constraints (ATACOM-DC), significantly improves the safety-performance trade-off by introducing directional constraints that distinguish between actions approaching and moving away from constraint boundaries, activating constraint enforcement only when necessary. We evaluate our method across a range of challenging robotic control tasks in simulation, analyzing both constraint-violation costs and achieved task performance. Code and additional material at https://atacom-dc.robot-learning.net.
- Abstract（参考訳）: 強化学習はロボット研究のランドスケープに革命をもたらし、シミュレーションにおける複雑なロボットスキルの堅牢な学習を可能にした。
しかし、現実世界の環境への展開には、危険な行動や有害な行動を防ぐための強力な安全保証が必要である。
安全強化学習法は、安全制約を課すことにより、この要件に対処する。
それでも、制約下での学習は学習速度を低下させることが多く、エージェントは制約のない設定よりも複雑な制約付き最適化問題を解く必要があるため、最適なタスク性能をもたらす可能性がある。
そこで本研究では,既存の強化学習アルゴリズムと統合して,システムの事前知識やデータから直接学習する制約を適用可能な,最先端の信頼性の高い安全層であるATACOMフレームワークの拡張を提案する。
ATACOM-DC(ATACOM Directional Constraints)と呼ばれる提案手法は,制約境界からの接近と移動を区別する指向性制約を導入し,必要に応じて制約執行を活性化することにより,安全性と性能のトレードオフを大幅に改善する。
本手法は,制約違反コストとタスク性能の両面から,ロボット制御タスクのシミュレーション,解析,評価を行う。
コードと追加資料はhttps://atacom-dc.robot-learning.net.comにある。
関連論文リスト
- BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。
BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2026-02-23T18:19:46Z) - Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret [5.108909395876561]
我々は,安全制約付き強化学習における厳格な後悔の限界を証明した。
我々は$tildeO_T(sqrtT)$を後悔する最初の安全なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2025-04-25T19:22:57Z) - Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning [17.856459823003277]
安全性は、現実世界のロボットに強化学習技術が配備されるのを防ぐ重要な問題の1つだ。
本稿では,安全な探索手法であるATACOMを学習可能な制約で拡張することにより,そのギャップを埋める。
論文 参考訳（メタデータ） (2024-09-18T15:08:41Z) - Bridging the gap between Learning-to-plan, Motion Primitives and Safe Reinforcement Learning [20.158498233576143]
キノダイナミック制約の下での軌道計画は、高度なロボティクス応用の基礎となる。
キノダイナミックプランニングの最近の進歩は、複雑な制約の下で複雑な動きを学習・計画技術が生成できることを実証している。
本稿では,学習から計画までの手法と強化学習を組み合わせることで,動作プリミティブのブラックボックス学習と最適化の新たな統合を実現する。
論文 参考訳（メタデータ） (2024-08-26T07:44:53Z) - RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。
提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
論文 参考訳（メタデータ） (2024-05-07T23:32:36Z) - Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。
本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
論文 参考訳（メタデータ） (2024-02-04T15:54:03Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-21T11:14:47Z) - Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic
through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。
本稿では,複数の側面からなる学習型制御フレームワークを提案する。
ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
論文 参考訳（メタデータ） (2021-09-07T00:51:12Z) - Chance-Constrained Trajectory Optimization for Safe Exploration and
Learning of Nonlinear Systems [81.7983463275447]
学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。
本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-05-09T05:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。