論文の概要: Not an Accident: Exploiting Safety Filter Inadequacy in Humanoid Robots

• arxiv url: http://arxiv.org/abs/2610.31923v1
• Date: Thu, 22 Oct 2026 21:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.29581
• Title: Not an Accident: Exploiting Safety Filter Inadequacy in Humanoid Robots
• Title（参考訳）: 事故ではない:ヒューマノイドロボットにおける安全フィルタの欠如の爆発
• Abstract要約: 目標挿入攻撃を行い、与えられたタスクや環境に対して脆弱な挿入目標を特定する自動化ツールであるSIRENを開発する。 また、SIRENは実際のヒューマノイドに対する攻撃を発生させ、タスク実行中に衝突させることができることを示す。
• 参考スコア（独自算出の注目度）: 14.318837869729725
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As humanoid robots move from research laboratories toward deployment in human-centered environments such as homes, hospitals, and warehouses, safe operation around nearby people and objects becomes a fundamental requirement. Safety filters have emerged as a promising technique to address this challenge by providing mathematical guarantees that generated control actions do not result in collisions. This paper shows that these guarantees hold only when the safety parameters are configured correctly. However, correct parameter configurations are task- and environment-specific, and no general method exists to determine them across diverse deployments. As a result, safety filters shipped with humanoid robots can fail after deployment in specific scenarios. We show that attackers can exploit these failures through only normal user interactions without any additional privileges or capabilities. To demonstrate this risk, we present goal insertion attacks and develop SIREN, an automated tool that identifies vulnerable inserting goals for a given task and environment. Experimental results show that SIREN identifies attacks in all vulnerable scenarios in the SPARK dataset. Compared with a baseline approach, SIREN discovers three times as many attacks. We also show that SIREN is able to generate attacks against a real humanoid and cause it to collide while executing tasks. These results demonstrate that current safety filters introduce exploitable vulnerabilities that can cause safety violations, which reveals that existing safety mechanisms can themselves become a source of safety risk for humanoid robots.
• Abstract（参考訳）: ヒューマノイドロボットは、研究施設から家、病院、倉庫などの人間中心の環境への展開へと移行するので、近くの人々や物体周辺の安全な操作が基本的な要件となっている。 安全フィルタは、生成した制御動作が衝突を起こさない数学的保証を提供することによって、この問題に対処するための有望な手法として登場した。 本稿では,安全パラメータが正しく設定された場合にのみ,これらの保証が守られることを示す。 しかし、正しいパラメータ設定はタスクと環境固有のものであり、様々なデプロイメントでそれらを決定する一般的な方法は存在しない。 結果として、ヒューマノイドロボットで出荷される安全フィルタは、特定のシナリオでデプロイされた後に失敗する可能性がある。 攻撃者は、通常のユーザーインタラクションを通じて、追加の特権や機能なしでこれらの障害を活用できることを示します。 このリスクを実証するため、目標挿入攻撃を行い、与えられたタスクや環境に対して脆弱な挿入目標を特定する自動化ツールであるSIRENを開発する。 実験の結果、SIRENはSPARKデータセット内のすべての脆弱なシナリオにおける攻撃を特定する。 ベースラインアプローチと比較して、SIRENは3倍の攻撃を発見する。 また、SIRENは実際のヒューマノイドに対する攻撃を発生させ、タスク実行中に衝突させることができることを示す。 これらの結果から,既存の安全メカニズム自体がヒューマノイドロボットの安全リスクの源となることが判明した。

関連論文リスト

• ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models [5.812025441769613]
  Embodied Foundation Models (EFMs)は、マルチモーダル理解、将来の状態推論、実行可能なロボットアクションを統合する。 この課題に対処するために,EMFにおける人体傷害防止のための安全クリティカルなデータ構築パイプラインを提案する。 実際のDROID観測から得られた1万クリップのロボットビデオデータセットであるROBOSHACKLESを構築した。 評価されたモデルはすべて、テストされた安全クリティカルなシナリオにおいて安全でないアクションを生成し、100%の安全でないアクション生成率が得られることを示す。
  論文  参考訳（メタデータ） (2026-06-17T03:03:16Z)
• Learning Safe-Stoppability Monitors for Humanoid Robots [11.850318870435265]
  我々は,ヒューマノイドの緊急停止を政策依存型安全性問題として定式化する。 我々はPRISMを紹介した。PRISMはシミュレーション駆動のフレームワークで、状態レベルのストッパビリティのための神経予測器を学習する。 以上の結果から,政策依存的停止性としての安全性のモデル化により,積極的な安全監視が可能であり,ヒューマノイドロボットのフェールセーフ動作のスケーラブルな認証を支援することが示唆された。
  論文  参考訳（メタデータ） (2026-03-24T01:51:32Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• ANNIE: Be Careful of Your Robots [48.89876809734855]
  エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
  論文  参考訳（メタデータ） (2025-09-03T15:00:28Z)
• SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures [11.73424668815629]
  本研究では,不確実性を考慮した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。 この不確実性認識型安全フィルタは,潜在的な安全でないシナリオを事前に検出し,安全かつ不分配な動作を確実に提案することを示す。
  論文  参考訳（メタデータ） (2025-05-01T18:18:17Z)
• Don't Let Your Robot be Harmful: Responsible Robotic Manipulation via Safety-as-Policy [53.048430683355804]
  ロボット操作における人間の指示の実行は、深刻な安全性のリスクにつながる可能性がある。 i) 安全リスクを含むシナリオを自動生成し、仮想的なインタラクションを行う世界モデルと、(ii) 反射による結果を予測するメンタルモデルを含む。 本研究は, 安全行政がリスクを回避し, 合成データセットと実世界の両方の実験において, 効率的にタスクを完了できることを実証する。
  論文  参考訳（メタデータ） (2024-11-27T12:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。