論文の概要: Making Embodied AI Reliable: A Community Agenda from Testing to Formal Verification
- arxiv url: http://arxiv.org/abs/2606.03593v1
- Date: Tue, 02 Jun 2026 12:58:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.00857
- Title: Making Embodied AI Reliable: A Community Agenda from Testing to Formal Verification
- Title(参考訳): エンボディードAIを信頼性のあるものにする - テストから形式的検証に至るまでのコミュニティのアジェンダ
- Authors: Xi Zheng, Dulanga Weerakoon, Yintong Huo, Teresa Yeo, Guy Van Den Broeck, Vijay Ganesh, Daniel Neider, Biplav Srivastava, Ivan Ruchkin, Archan Misra, Corina Pasareanu,
- Abstract要約: Embodied AIシステムは、ますますオープンな環境にデプロイされている。
この記事では、組み込みAIの信頼性は本質的にライフサイクル保証の問題である、と論じる。
- 参考スコア(独自算出の注目度): 38.209854965937495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied AI systems are increasingly deployed in open-world environments, yet ensuring their reliability remains a fundamental challenge. Drawing on discussions from the AAAI'26 Bridge Program on "Making Embodied AI Reliable with Testing and Formal Verification", this article argues that reliability in embodied AI is inherently a lifecycle assurance problem arising from uncertainty, human interaction, and emergent behaviors across tightly coupled system components. We identify three complementary directions toward reliable embodied AI: (1) trustworthy scenario-based testing supported by validated specifications and meaningful coverage metrics, (2) compositional verification enabled by structured symbolic representations of system behavior and environmental context, and (3) runtime assurance mechanisms capable of adapting to uncertainty and distribution shifts during deployment. Rather than treating these approaches independently, we advocate integrated assurance workflows that connect testing, verification, and runtime adaptation through shared neuro-symbolic representations and continuous feedback across the system lifecycle. Such integration provides a foundation for building trustworthy embodied AI systems that can operate safely and reliably in complex real-world environments.
- Abstract(参考訳): Embodied AIシステムは、ますますオープンな環境にデプロイされているが、信頼性を保証することは、依然として根本的な課題である。
この記事では、AAAI'26 Bridge Program on "Making Embodied AI Reliable with Testing and Formal Verification" の議論に基づいて、具体的AIの信頼性は本質的に、不確実性、ヒューマンインタラクション、密結合されたシステムコンポーネント間の創発的振る舞いに起因するライフサイクル保証問題である、と論じる。
我々は,(1)検証済み仕様と有意義なカバレッジ指標によって支持される信頼性の高いシナリオベーステスト,(2)システム動作と環境コンテキストの構造的シンボル表現によって実現される構成検証,(3)デプロイメント中の不確実性や分散シフトに適応可能な実行時保証機構の3つの補完的な方向を識別する。
これらのアプローチを独立して扱うのではなく、テスト、検証、実行時適応をシステムライフサイクル全体にわたって共有されたニューロシンボリック表現と継続的なフィードバックを通じて接続する統合保証ワークフローを提唱する。
このような統合は、複雑な現実世界環境で安全かつ確実に動作可能な、信頼できる実施可能なAIシステムを構築するための基盤を提供する。
関連論文リスト
- Provable Robustness against Backdoor Attacks via the Primal-Dual Perspective on Differential Privacy [51.758416625168]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明するための強力なツールである。
本稿では,複雑な構成機構の認証のためのフレームワークを提案する。
複雑な脅威モデル下での堅牢性を証明するために複合メカニズムを使用するための原則的で一般的なフレームワークを提供する。
論文 参考訳(メタデータ) (2026-05-20T22:17:29Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳(メタデータ) (2026-05-17T10:26:37Z) - Autonomous Systems Dependability in the era of AI: Design Challenges in Safety, Security, Reliability and Certification [4.358009861529629]
組込み安全クリティカルシステムの設計は、システムの複雑さをエスカレートすることでますます困難になってきている。
従来の信頼性、安全性、セキュリティ管理の方法は、人工知能(AI)と機械学習(ML)によって導入された動的で不確実な振る舞いに対処するのに不足することが多い。
AIとMLは、システムの信頼性を高める強力な予測、適応、自己最適化機能を提供しますが、その固有の非決定性、データ依存性、正式な保証の欠如は、検証、検証、認定のための新たな課題をもたらします。
本稿では,AI時代の信頼性の高い自律型・組み込み型システムを設計するための新しい方法論,アーキテクチャ,フレームワークについて考察する。
論文 参考訳(メタデータ) (2026-04-30T12:50:29Z) - Connected Dependability Cage: Run-Time Function and Anomaly Monitoring for the Development and Operation of Safe Automated Vehicles [4.255452662944005]
Connected Dependability Cageは、AI対応の知覚システムにおける階層的なフェールオペレーショナル動作を可能にする。
システムは優雅な劣化をサポートし、究極的には最小リスクの操作戦略への移行を可能にする。
論文 参考訳(メタデータ) (2026-04-30T11:20:39Z) - Composable Attestation: A Generalized Framework for Continuous and Incremental Trust in AI-Driven Distributed Systems [4.2822349607372265]
本稿では,分散システムにおける連続的・漸進的信頼のための汎用的な暗号フレームワークとして,コンポーザブル証明を提案する。
このような証明システムのコア特性を定義する厳密な数学的基盤を確立する。
このフレームワークのユーティリティは、セキュアなAIモデルの完全性検証、フェデレーション学習、ランタイム信頼保証といったアプリケーションにまで拡張されている。
論文 参考訳(メタデータ) (2026-03-02T22:45:26Z) - Towards Continuous Assurance with Formal Verification and Assurance Cases [0.5483130283061118]
我々は、トレース可能なモデル駆動ワークフロー内に設計時、実行時、進化時保証を統合する統合された継続的保証フレームワークを提案する。
我々は,核検査ロボットのシナリオに対するアプローチを実証し,三元AI原則との整合性について議論する。
論文 参考訳(メタデータ) (2025-11-17T18:42:38Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。