論文の概要: What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else?
- arxiv url: http://arxiv.org/abs/2602.17345v1
- Date: Thu, 19 Feb 2026 13:29:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:29.038289
- Title: What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else?
- Title（参考訳）: AIのセキュリティを破る:LLMの脆弱性、CPSの欠陥、あるいは何かあったのか?
- Abstract要約: 身体化されたAIシステムは、制御された環境から安全クリティカルな現実世界へのデプロイへと急速に移行している。
インボディードAIとは異なり、インボディードインテリジェンスにおける失敗は、不可逆的な物理的結果をもたらす。
我々は,実施によるシステムレベルのミスマッチから,重大な障害が生じることを論じる。
- 参考スコア（独自算出の注目度）: 28.12412876058788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied AI systems (e.g., autonomous vehicles, service robots, and LLM-driven interactive agents) are rapidly transitioning from controlled environments to safety critical real-world deployments. Unlike disembodied AI, failures in embodied intelligence lead to irreversible physical consequences, raising fundamental questions about security, safety, and reliability. While existing research predominantly analyzes embodied AI through the lenses of Large Language Model (LLM) vulnerabilities or classical Cyber-Physical System (CPS) failures, this survey argues that these perspectives are individually insufficient to explain many observed breakdowns in modern embodied systems. We posit that a significant class of failures arises from embodiment-induced system-level mismatches, rather than from isolated model flaws or traditional CPS attacks. Specifically, we identify four core insights that explain why embodied AI is fundamentally harder to secure: (i) semantic correctness does not imply physical safety, as language-level reasoning abstracts away geometry, dynamics, and contact constraints; (ii) identical actions can lead to drastically different outcomes across physical states due to nonlinear dynamics and state uncertainty; (iii) small errors propagate and amplify across tightly coupled perception-decision-action loops; and (iv) safety is not compositional across time or system layers, enabling locally safe decisions to accumulate into globally unsafe behavior. These insights suggest that securing embodied AI requires moving beyond component-level defenses toward system-level reasoning about physical risk, uncertainty, and failure propagation.
- Abstract（参考訳）: 身体的AIシステム(自動運転車、サービスロボット、LLMによる対話型エージェントなど)は、制御された環境から安全クリティカルな現実世界への展開へと急速に移行している。
インボディード・インテリジェンスにおける失敗は、非暴力的なAIと異なり、セキュリティ、安全性、信頼性に関する根本的な疑問を提起する。
既存の研究は、Large Language Model(LLM)の脆弱性や古典的なサイバー物理システム(CPS)の障害のレンズを通して、エンボディドAIを主に分析しているが、この調査は、現代のエンボディドシステムにおける多くの観察されたブレークスルーを説明するには、これらの視点が個々に不十分であると主張している。
我々は、独立したモデル欠陥や従来のCPS攻撃ではなく、実施によるシステムレベルのミスマッチによって、重大な障害が生じると仮定する。
具体的には、AIを具現化した理由を説明する4つの中核的な洞察を特定します。
(i)意味的正当性は、言語レベルの推論が幾何学、力学、接触制約を抽象化するため、物理的な安全性を示唆しない。
二) 同一の作用は、非線形力学と状態の不確実性により、物理的状態全体で大幅に異なる結果をもたらす。
三 小さな誤りが密結合した知覚-判断-行動ループを伝播し、増幅すること。
(4) 安全は時間やシステム層を通して構成されるものではなく、局所的に安全な決定をグローバルに安全でない行動にまとめることができる。
これらの洞察は、組み込まれたAIを確保するには、物理的なリスク、不確実性、障害伝播に関するシステムレベルの推論へのコンポーネントレベルの防御を超えて、移動する必要があることを示唆している。
関連論文リスト
- Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
2つの領域は2つの解析的に独立な軸に沿って異なると主張する。
sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
論文 参考訳（メタデータ） (2026-07-27T10:22:46Z) - The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems [26.594498540217568]
デプロイされたシステムでは、最も連続的な障害の多くは、目覚ましいよりも静かで、単一のアウトプットに局所化するのではなく、コンポーネントに分散し、障害として認識される前にエコシステムによって正規化される。
現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を放出するかどうかだけではなく、より広範な社会技術システムが、エラーが可視で、競合可能で、封じ込め可能で、回復可能な状態を維持しているかどうかである。
論文 参考訳（メタデータ） (2026-07-21T17:02:37Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems [1.9544213396776273]
物理AIシステムは、多モーダルな観察、言語指示、学習された世界表現を物理的に連続した行動にマップするようになっている。
この移行は、従来のAIコンテンツモデレーションによって完全に捉えられていない安全性の問題を明らかにする。
ブラックボックスの物理AIモデルと物理実行の間に完全なランタイム認証境界を提供する単一のストリームは存在しない。
論文 参考訳（メタデータ） (2026-05-23T16:48:03Z) - Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms [61.29786895012393]
VLA(Vision-Language-Action)モデルがインボディードインテリジェンスのための統一された基盤として登場している。
この調査は、ビジョン・ランゲージ・アクションモデルにおける安全性の統一的で最新の概要を提供する。
論文 参考訳（メタデータ） (2026-04-26T15:58:19Z) - Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。
デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。
この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
論文 参考訳（メタデータ） (2026-03-28T13:21:44Z) - State-Dependent Safety Failures in Multi-Turn Language Model Interaction [70.52906620450847]
我々は、状態空間の観点から安全性障害を研究し、多くのマルチターン障害が構造化状態の進化から生じることを示す。
本稿では,対話履歴を状態遷移演算子として扱う状態指向診断フレームワークSTARを紹介する。
静的な評価の下で頑健なように見えるシステムは、構造化されたマルチターン相互作用の下で、迅速かつ再現可能な安全破壊を受けることができる。
論文 参考訳（メタデータ） (2026-03-15T12:13:01Z) - The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。
エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。
我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
論文 参考訳（メタデータ） (2026-02-10T15:18:19Z) - Constructing Safety Cases for AI Systems: A Reusable Template Framework [10.44708664414503]
安全ケース、つまりシステムが確実に安全であるという構造化された議論は、AIシステムのガバナンスの中心になりつつある。
航空や原子力工学の伝統的な安全ケースのプラクティスは、明確に定義されたシステムの境界、安定したアーキテクチャ、既知の障害モードに依存している。
本研究では、AIシステムにおける安全ケースの構築方法と、古典的アプローチがこれらのダイナミクスを捉えることができない理由について検討する。
論文 参考訳（メタデータ） (2026-01-30T09:53:22Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models [68.09675063543402]
NeuroBreakは、ニューロンレベルの安全性メカニズムを分析し、脆弱性を軽減するために設計されたトップダウンのジェイルブレイク分析システムである。
レイヤワイドな表現探索分析を取り入れることで、NeuroBreakはモデルの意思決定プロセスに関する新たな視点を提供する。
本システムの有効性を検証するために,定量的評価とケーススタディを実施している。
論文 参考訳（メタデータ） (2025-09-04T08:12:06Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳（メタデータ） (2025-06-05T15:46:25Z) - Towards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks [22.154001025679896]
ロボットや自動運転車を含む身体的AIシステムは、現実のアプリケーションにますます統合されている。
これらの脆弱性は、センサーのスプーフィング、敵攻撃、タスクおよび動作計画における失敗を通じて現れる。
論文 参考訳（メタデータ） (2025-02-18T03:38:07Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - AI Safety: A Climb To Armageddon? [0.0]
本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。
この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られる。
論文 参考訳（メタデータ） (2024-05-30T08:41:54Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。