論文の概要: Towards provable probabilistic safety for scalable embodied AI systems

• arxiv url: http://arxiv.org/abs/2506.05171v1
• Date: Thu, 05 Jun 2025 15:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.089784
• Title: Towards provable probabilistic safety for scalable embodied AI systems
• Title（参考訳）: スケーラブルなエンボディAIシステムのための証明可能な確率的安全性を目指して
• Authors: Linxuan He, Qing-Shan Jia, Ang Li, Hongyan Sang, Ling Wang, Jiwen Lu, Tao Zhang, Jie Zhou, Yi Zhang, Yisen Wang, Peng Wei, Zhongyuan Wang, Henry X. Liu, Shuo Feng,
• Abstract要約: エンボディードAIシステムは、様々なアプリケーションでますます普及している。 複雑な運用環境での安全性確保は依然として大きな課題である。 提案する確率的安全性は,大規模展開の残留リスクが予め定義された閾値以下であることを保証することを目的としている。
• 参考スコア（独自算出の注目度）: 79.31011047593492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied AI systems, comprising AI models and physical plants, are increasingly prevalent across various applications. Due to the rarity of system failures, ensuring their safety in complex operating environments remains a major challenge, which severely hinders their large-scale deployment in safety-critical domains, such as autonomous vehicles, medical devices, and robotics. While achieving provable deterministic safety--verifying system safety across all possible scenarios--remains theoretically ideal, the rarity and complexity of corner cases make this approach impractical for scalable embodied AI systems. To address this challenge, we introduce provable probabilistic safety, which aims to ensure that the residual risk of large-scale deployment remains below a predefined threshold. Instead of attempting exhaustive safety proof across all corner cases, this paradigm establishes a probabilistic safety boundary on overall system performance, leveraging statistical methods to enhance feasibility and scalability. A well-defined probabilistic safety boundary enables embodied AI systems to be deployed at scale while allowing for continuous refinement of safety guarantees. Our work focuses on three core questions: what is provable probabilistic safety, how to prove the probabilistic safety, and how to achieve the provable probabilistic safety. By bridging the gap between theoretical safety assurance and practical deployment, our work offers a pathway toward safer, large-scale adoption of embodied AI systems in safety-critical applications.
• Abstract（参考訳）: AIモデルと物理プラントを含む身体的AIシステムは、さまざまなアプリケーションでますます普及している。 システム障害の希少さのため、複雑な運用環境での安全性確保は依然として大きな課題であり、自動運転車や医療機器、ロボットなど、安全上重要な分野への大規模な展開を著しく妨げている。 証明可能な決定論的安全性の実現 – すべての可能なシナリオにわたってシステムの安全性を検証する – 理論的には理想的だが,コーナーケースの希少性と複雑さは,このアプローチをスケーラブルな実施可能なAIシステムには非現実的だ。 この課題に対処するため,我々は,大規模展開の残留リスクが予め定義されたしきい値以下であることを保証することを目的とした,証明可能な確率的安全性を導入する。 すべてのコーナーケースで徹底的な安全性証明を試みる代わりに、このパラダイムはシステムパフォーマンス全体の確率論的安全性境界を確立し、実現可能性とスケーラビリティを高める統計的手法を活用する。 明確に定義された確率的安全境界により、エンボディされたAIシステムを大規模にデプロイし、安全保証の継続的な改善を可能にする。 我々の研究は、証明可能な確率的安全性、確率的安全性の証明方法、証明可能な確率的安全性の達成方法の3つの中核的な疑問に焦点を当てている。 理論的安全性保証と実践的デプロイメントのギャップを埋めることで、当社の作業は、安全クリティカルなアプリケーションにおいて、より安全で大規模に実施可能なAIシステムを実現するための道筋を提供します。

関連論文リスト

• Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures [7.0540936204654]
  本研究では,不確実性を考慮した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。 この不確実性認識型安全フィルタは,潜在的な安全でないシナリオを事前に検出し,安全かつ不分配な動作を確実に提案することを示す。
  論文  参考訳（メタデータ） (2025-05-01T18:18:17Z)
• A Domain-Agnostic Scalable AI Safety Ensuring Framework [8.086635708001166]
  本稿では,AIシステムが特定の確率でユーザ定義の安全制約を満たすことを保証する新しいフレームワークを提案する。 当社のアプローチでは,任意のAIモデルと最適化問題を組み合わせることで,パフォーマンスを維持しながら,アウトプットが安全要件を満たすことを保証する。 本手法は,穏やかな条件下での確率論的安全性を保証するとともに,AIの安全性における最初のスケーリング法則を確立する。
  論文  参考訳（メタデータ） (2025-04-29T16:38:35Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach [2.741266294612776]
  安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。 提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。 安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
  論文  参考訳（メタデータ） (2020-02-24T09:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。