論文の概要: Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.27312v1
• Date: Wed, 23 Sep 2026 03:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.864737
• Title: Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
• Title（参考訳）: 安全を能力に転換する:安全に配慮した強化学習による最小限の爆発性ロボット政策
• Abstract要約: 安全な強化学習を含む既存のアプローチでは、ひとつのポリシーをトレーニングしてタスクの成功を達成し、同時に失敗を避ける。 本稿では,2段階のRLフレームワークであるSafety to Competence (S2C)を提案する。 S2Cは、敵RLを介して堅牢な安全フィルタを学び、タスクポリシトレーニング中に環境に組み込んで、デプロイ時に同じフィルタを保持する。
• 参考スコア（独自算出の注目度）: 12.939951127110826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots deployed for competitive tasks must outmaneuver their opponents without sacrificing safety. Existing approaches, including safe reinforcement learning (RL), train a single policy to achieve task success and avoid failures simultaneously. This coupling can complicate training and leave the learned policy exploitable by deliberate attacks. We propose Safety to Competence (S2C), a two-stage RL framework that separates safety synthesis from competitive task learning. We formulate competitive interactions as safety-critical Markov games and prove that perfect filtering preserves policy non-exploitability when all players commit to safe maneuvers. S2C learns a robust safety filter via adversarial RL, embeds it in the environment during task policy training, and retains the same filter at deployment. In simulated touchdown games, S2C outperforms eight safe RL baselines, achieving the highest win rate and Elo rating, and the lowest exploitability. Hardware stress tests against a human opponent confirm S2C's competence.
• Abstract（参考訳）: 競争力のあるタスクのために配置されたロボットは、安全を犠牲にすることなく相手を圧倒しなければならない。 安全な強化学習(RL)を含む既存のアプローチでは、単一ポリシをトレーニングしてタスクの成功を達成し、障害を同時に回避する。 この結合は、トレーニングを複雑にし、学習したポリシーを故意の攻撃によって悪用することができる。 本稿では,2段階のRLフレームワークであるSafety to Competence (S2C)を提案する。 我々は、安全クリティカルなマルコフゲームとして競合する相互作用を定式化し、全てのプレイヤーが安全な操作を行う際に、完璧なフィルタリングがポリシーの非爆発性を保っていることを証明した。 S2Cは、敵RLを介して堅牢な安全フィルタを学び、タスクポリシトレーニング中に環境に組み込んで、デプロイ時に同じフィルタを保持する。 模擬タッチダウンゲームでは、S2Cは8つの安全なRLベースラインを上回り、最高の勝利率とEloレーティング、そして最も低いエクスプロイラビリティを達成した。 人間の相手に対するハードウェアストレステストは、S2Cの能力を確認する。

関連論文リスト

• ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids [13.957722062725862]
  安全ヒューマノイド制御のための暗黙的安全性フィルタリング機構として, 残留強化学習を提案する。 パフォーマンス、安全性、堅牢性のバランスをとるために、単一の名目上のポリシーに頼るのではなく、パフォーマンスと安全性を分離します。
  論文  参考訳（メタデータ） (2026-09-14T17:59:50Z)
• CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions [19.737602414070768]
  制御バリア関数(CBF)は、動的安全性を強制する原則的な方法を提供する。 本稿では, CBF を訓練対象とする安全行動生成フレームワーク CBF-RL を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:58:58Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Safe Reinforcement Learning with Dual Robustness [10.455148541147796]
  強化学習(RL)エージェントは敵の障害に対して脆弱である。 安全なRLとロバストなRLを統合するための体系的フレームワークを提案する。 また,デュアル・ロバスト・アクター・クリティック(DRAC)と呼ばれる実装のためのディープRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-09-13T09:34:21Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• On the Robustness of Safe Reinforcement Learning under Observational Perturbations [27.88525130218356]
  標準RLタスクのベースライン対向攻撃技術は安全RLには必ずしも有効ではないことを示す。 興味深い反直感的な発見の1つは、最大報酬攻撃は、安全でない振る舞いを誘発し、報酬を維持することで攻撃をステルスティにすることができるため、強いものであることである。 この研究は、RLにおける観測ロバスト性と安全性の間の継承された接続に光を当て、将来の安全なRL研究のための先駆的な研究を提供する。
  論文  参考訳（メタデータ） (2022-05-29T15:25:03Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。