論文の概要: ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids
- arxiv url: http://arxiv.org/abs/2609.15988v1
- Date: Mon, 14 Sep 2026 17:59:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.582525
- Title: ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids
- Title（参考訳）: ResSafe: ヒューマノイドの残留強化学習による安全フィルタリングの学習
- Abstract要約: 安全ヒューマノイド制御のための暗黙的安全性フィルタリング機構として, 残留強化学習を提案する。
パフォーマンス、安全性、堅牢性のバランスをとるために、単一の名目上のポリシーに頼るのではなく、パフォーマンスと安全性を分離します。
- 参考スコア（独自算出の注目度）: 13.957722062725862
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Safe control of humanoid robots remains challenging due to their high-dimensional dynamics, contact-rich interactions, and sensitivity to disturbances. Although reinforcement learning has enabled effective locomotion and motion tracking, learned policies can still generate unsafe actions that lead to instability or falls. In this work, we propose residual reinforcement learning as an implicit safety-filtering mechanism for safe humanoid control. Instead of relying on a single nominal policy to simultaneously balance performance, safety, and robustness, we decouple performance and safety. The nominal policy focuses solely on task performance, while a residual policy learns safety corrections. This decoupling leads to a better performance--safety Pareto trade-off and avoids the need for careful tuning of multiple competing reward terms within a single policy training. We show that the residual policy can act as an implicit safety filter.
- Abstract（参考訳）: ヒューマノイドロボットの安全制御は、高次元のダイナミクス、接触に富んだ相互作用、障害に対する感受性のため、依然として困難である。
強化学習は効果的なロコモーションとモーショントラッキングを可能にしているが、学習されたポリシーは、不安定や転倒につながる安全でないアクションを生成することができる。
本研究では,安全なヒューマノイド制御のための暗黙の安全フィルタリング機構として,残留強化学習を提案する。
パフォーマンスと安全性と堅牢性を同時にバランスさせる、単一の名目上のポリシに頼るのではなく、パフォーマンスと安全性を分離するのです。
名目上の政策はタスクのパフォーマンスにのみ焦点をあて、残りの政策は安全性の修正を学ぶ。
この分離によってパフォーマンスが向上する — Paretoのトレードオフは安全になり、単一のポリシトレーニング内で複数の競合する報酬項を慎重にチューニングする必要がなくなる。
残余ポリシーは暗黙の安全フィルタとして機能することを示す。
関連論文リスト
- SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。
我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。
Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
論文 参考訳（メタデータ） (2026-09-02T16:19:54Z) - Safe Online Learning via Smooth Safety-Structured Policy Composition [12.206103132138464]
AutoSafeは、構造化された安全監視と介入を直接アクション生成プロセスに統合する、安全を意識したポリシーアーキテクチャである。
一連の継続的制御ベンチマークにおける実証的な結果は、学習のスムーズさを犠牲にすることなく、強力な安全性の強化を示す。
さらに,物理的なカートポールシステム上でのAutoSafeの有効性を検証し,現実世界における安全なオンライン学習の実践的有効性を強調した。
論文 参考訳（メタデータ） (2026-06-30T08:26:50Z) - Safe-RULE: Safe Reinforcement UnLEarning [0.22940141855172028]
オフライン安全な強化学習(Safe RL)は、オンラインインタラクションなしでポリシー学習を可能にする。
本稿では, 有害データの影響を取り除くための防御枠組みとして, 安全強化学習(Safe-RULE)を提案する。
論文 参考訳（メタデータ） (2026-06-08T14:33:40Z) - RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。
提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
論文 参考訳（メタデータ） (2024-05-07T23:32:36Z) - Evaluation of Safety Constraints in Autonomous Navigation with Deep
Reinforcement Learning [62.997667081978825]
学習可能なナビゲーションポリシとして,セーフとアンセーフの2つを比較します。
安全なポリシは、制約をアカウントに含めますが、もう一方はそうではありません。
安全政策は、よりクリアランスの高い軌道を生成することができ(障害物によらず)、全体的な性能を犠牲にすることなく、トレーニング中に衝突を減らすことができることを示す。
論文 参考訳（メタデータ） (2023-07-27T01:04:57Z) - Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery [13.333197887318168]
安全は、現実的な環境課題に強化学習を適用する上で大きな課題の1つである。
安全かつ安全でない状態を識別する境界を構築する手法を提案する。
我々の手法は、最先端のアルゴリズムよりも安全性違反が少ないタスク性能を持つ。
論文 参考訳（メタデータ） (2023-06-24T12:02:50Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - ISAACS: Iterative Soft Adversarial Actor-Critic for Safety [0.9217021281095907]
この研究は、ロボットシステムのための堅牢な安全維持コントローラのスケーラブルな合成を可能にする新しいアプローチを導入する。
安全を追求するフォールバックポリシーは、モデルエラーの最悪のケースの実現を促進するために、敵の「混乱」エージェントと共同で訓練される。
学習した制御ポリシーは本質的に安全性を保証するものではないが、リアルタイムの安全フィルタを構築するために使用される。
論文 参考訳（メタデータ） (2022-12-06T18:53:34Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z) - SAFER: Data-Efficient and Safe Reinforcement Learning via Skill
Acquisition [59.94644674087599]
安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。
オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。
推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
論文 参考訳（メタデータ） (2022-02-10T05:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。