論文の概要: Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems
- arxiv url: http://arxiv.org/abs/2606.00090v1
- Date: Sat, 23 May 2026 16:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:27.878664
- Title: Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems
- Title（参考訳）: 物理AIにおける静かな失敗 - 自律システムにおける実行時動作認可の文献的レビュー
- Authors: Barak Or,
- Abstract要約: 物理AIシステムは、多モーダルな観察、言語指示、学習された世界表現を物理的に連続した行動にマップするようになっている。
この移行は、従来のAIコンテンツモデレーションによって完全に捉えられていない安全性の問題を明らかにする。
ブラックボックスの物理AIモデルと物理実行の間に完全なランタイム認証境界を提供する単一のストリームは存在しない。
- 参考スコア（独自算出の注目度）: 1.9544213396776273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physical AI systems increasingly map multimodal observations, language instructions, and learned world representations into physically consequential actions. Robotics foundation models, vision-language-action models, and world-model-based autonomous systems can condition decisions that move vehicles, robots, drones, and industrial machines. This transition exposes a safety problem that is not fully captured by conventional AI content moderation or by classical robot safety alone: a black-box model may issue a physically consequential action while appearing confident, plausible, and semantically aligned. The resulting failure can be silent, arising from sensor drift, occlusion, state-estimation error, distribution shift, hallucinated affordances, or invalid physical assumptions before downstream hardware controllers detect a violation. Across embodied foundation models, world models, robotics simulation, embodied safety benchmarks, safe control, runtime assurance, uncertainty estimation, verification, and guardrail evaluation, model capability and safety mechanisms have advanced along largely separate technical tracks. A recurring gap synthesized here is that no single stream surveyed in this review supplies a complete runtime authorization boundary between black-box Physical AI models and physical execution. The resulting analysis develops a bounded problem formulation, a definition of silent physical-action failure, a taxonomy of runtime guardrail functions, and evaluation requirements for comparing guardrails as Physical AI assurance mechanisms.
- Abstract（参考訳）: 物理AIシステムは、多モーダルな観察、言語指示、学習された世界表現を物理的に連続した行動にマッピングするようになっている。
ロボット基礎モデル、視覚言語アクションモデル、世界モデルに基づく自律システムは、車両、ロボット、ドローン、産業機械を移動させる決定を条件にすることができる。
この移行は、従来のAIコンテンツモデレーションや古典的なロボットの安全性によって完全に捉えられていない安全性の問題を明らかにする。
結果として生じる失敗は、センサーのドリフト、オクルージョン、状態推定エラー、分配シフト、幻覚的余裕、または下流のハードウェアコントローラが違反を検出する前に無効な物理仮定から生じる。
実施された基礎モデル、世界モデル、ロボットシミュレーション、実施された安全ベンチマーク、安全な制御、実行時の保証、不確実性評価、検証、ガードレール評価など、モデル能力と安全メカニズムは、主に別々の技術軌道に沿って進歩している。
ここで繰り返し合成されるギャップは、このレビューで調査された単一のストリームが、ブラックボックス物理AIモデルと物理実行の間の完全なランタイム認証境界を提供していないことである。
その結果、境界付き問題定式化、サイレントな物理動作障害の定義、実行時ガードレール関数の分類、ガードレールを物理AI保証機構として比較するための評価要件が得られた。
関連論文リスト
- Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms [61.29786895012393]
VLA(Vision-Language-Action)モデルがインボディードインテリジェンスのための統一された基盤として登場している。
この調査は、ビジョン・ランゲージ・アクションモデルにおける安全性の統一的で最新の概要を提供する。
論文 参考訳（メタデータ） (2026-04-26T15:58:19Z) - Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。
デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。
この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
論文 参考訳（メタデータ） (2026-03-28T13:21:44Z) - What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else? [28.12412876058788]
身体化されたAIシステムは、制御された環境から安全クリティカルな現実世界へのデプロイへと急速に移行している。
インボディードAIとは異なり、インボディードインテリジェンスにおける失敗は、不可逆的な物理的結果をもたらす。
我々は,実施によるシステムレベルのミスマッチから,重大な障害が生じることを論じる。
論文 参考訳（メタデータ） (2026-02-19T13:29:00Z) - RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation [47.79800816696372]
操作ポリシーの現実的なテストは、大規模に労働集約的で、再現が難しい。
既存のシミュレーションベンチマークも同様に制限されており、同じ合成ドメイン内でポリシーをトレーニングおよびテストしている。
本稿では,VLA評価を大規模にシミュレーションした拡張環境に移行することで,これらの課題を克服する新しいベンチマークフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-27T17:41:38Z) - From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails [12.84192844049763]
ほとんどのAIガードレールは、ラベル付きデータセットと人間の特定基準に基づいた出力分類に依存している。
私たちはAIシステムのアウトプットをリアルタイムで監視し、安全なアウトプットに対して積極的に修正する予測ガードレールを構築します。
シミュレーション運転とeコマース設定の実験では、制御理論のガードレールが破滅的な結果を確実に排除できることを示した。
論文 参考訳（メタデータ） (2025-10-15T16:30:57Z) - Can AI Perceive Physical Danger and Intervene? [16.825608691806988]
AIが物理的な世界と対話するとき、新しい安全上の課題が生まれる。
最先端のファンデーションモデルは、物理的な安全性に関する常識的な事実をどの程度理解していますか?
論文 参考訳（メタデータ） (2025-09-25T22:09:17Z) - From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。
メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
論文 参考訳（メタデータ） (2025-09-25T14:15:43Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - Constrained Decoding for Robotics Foundation Models [12.916330118607918]
本稿では,自動回帰ロボット基盤モデルのための制約付き復号化フレームワークであるSafeDecを紹介する。
タスク固有の安全ルールはSignal Temporal Logic (STL) 公式として表現され、最小限のオーバーヘッドで推論時に強制される。
提案手法は,実行時に仮定された動的条件下でのSTL仕様を,再トレーニングなしで確実に満たすものである。
論文 参考訳（メタデータ） (2025-09-01T19:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。