論文の概要: ANNIE: Be Careful of Your Robots

• arxiv url: http://arxiv.org/abs/2509.03383v1
• Date: Wed, 03 Sep 2025 15:00:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.564992
• Title: ANNIE: Be Careful of Your Robots
• Title（参考訳）: ANNIE:ロボットに気をつけて
• Authors: Yiyang Huang, Zixuan Wang, Zishen Wan, Yapeng Tian, Haobo Xu, Yinhe Han, Yiming Gan,
• Abstract要約: エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
• 参考スコア（独自算出の注目度）: 48.89876809734855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of vision-language-action (VLA) models into embodied AI (EAI) robots is rapidly advancing their ability to perform complex, long-horizon tasks in humancentric environments. However, EAI systems introduce critical security risks: a compromised VLA model can directly translate adversarial perturbations on sensory input into unsafe physical actions. Traditional safety definitions and methodologies from the machine learning community are no longer sufficient. EAI systems raise new questions, such as what constitutes safety, how to measure it, and how to design effective attack and defense mechanisms in physically grounded, interactive settings. In this work, we present the first systematic study of adversarial safety attacks on embodied AI systems, grounded in ISO standards for human-robot interactions. We (1) formalize a principled taxonomy of safety violations (critical, dangerous, risky) based on physical constraints such as separation distance, velocity, and collision boundaries; (2) introduce ANNIEBench, a benchmark of nine safety-critical scenarios with 2,400 video-action sequences for evaluating embodied safety; and (3) ANNIE-Attack, a task-aware adversarial framework with an attack leader model that decomposes long-horizon goals into frame-level perturbations. Our evaluation across representative EAI models shows attack success rates exceeding 50% across all safety categories. We further demonstrate sparse and adaptive attack strategies and validate the real-world impact through physical robot experiments. These results expose a previously underexplored but highly consequential attack surface in embodied AI systems, highlighting the urgent need for security-driven defenses in the physical AI era. Code is available at https://github.com/RLCLab/Annie.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルとエンボディAI(EAI)ロボットの統合は、人間中心の環境で複雑なロングホライゾンタスクを実行する能力が急速に進歩している。 妥協されたVLAモデルは、感覚入力の敵の摂動を直接、安全でない物理的行動に変換することができる。 機械学習コミュニティの伝統的な安全定義と方法論はもはや不十分である。 EAIシステムは、安全を構成するもの、それを測定する方法、物理的に接地された対話的な環境で効果的な攻撃と防御メカニズムを設計する方法など、新しい疑問を提起する。 本研究では,人間とロボットの相互作用に関するISO標準を基礎とした,エンボディAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 1) 分離距離, 速度, 衝突境界などの物理的制約に基づいて, 安全違反の原則的分類を定式化し, 2400件のビデオアクションシーケンスによる9つの安全クリティカルシナリオのベンチマークであるANNIEBenchを導入し, (3) 長期目標をフレームレベルの摂動に分解する攻撃的リーダモデルを備えたタスク認識型敵フレームワークであるANNIE-Attackを紹介した。 代表的なEAIモデルによる評価は、すべての安全カテゴリーで50%以上の攻撃成功率を示している。 さらに、スパース・アダプティブ・アタック・ストラテジーを実証し、物理的なロボット実験を通して実世界への影響を検証した。 これらの結果は、具体化されたAIシステムにおいて、これまであまり探索されていなかったが、非常に簡潔な攻撃面を明らかにし、物理的なAI時代におけるセキュリティ駆動型防衛の緊急の必要性を強調している。 コードはhttps://github.com/RLCLab/Annie.comで入手できる。

関連論文リスト

• Preventing Adversarial AI Attacks Against Autonomous Situational Awareness: A Maritime Case Study [0.0]
  アドリラル人工知能(AI)による攻撃は、自律走行に重大な脅威をもたらす。 本稿では、敵対的AIに関連する3つの重要な研究課題に対処する。 本稿では,複数入力とデータ融合を利用して防御部品を構築できるビルディングディフェンスを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:05Z)
• CEE: An Inference-Time Jailbreak Defense for Embodied Intelligence via Subspace Concept Rotation [23.07221882519171]
  大規模言語モデル(LLM)は、エンボディード・インテリジェンス(Embodied Intelligence, EI)システムの認知的コアになりつつある。 我々は,概念強化工学(CEE)という,新規で効率的な推論時防衛フレームワークを提案する。 CEEはモデルの内部表現を直接操作することで、モデル固有の安全性メカニズムを強化する。
  論文  参考訳（メタデータ） (2025-04-15T03:50:04Z)
• Towards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks [22.154001025679896]
  ロボットや自動運転車を含む身体的AIシステムは、現実のアプリケーションにますます統合されている。 これらの脆弱性は、センサーのスプーフィング、敵攻撃、タスクおよび動作計画における失敗を通じて現れる。
  論文  参考訳（メタデータ） (2025-02-18T03:38:07Z)
• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
  本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。 我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。