論文の概要: Taming Silent Failures: A Framework for Verifiable AI Reliability
- arxiv url: http://arxiv.org/abs/2510.22224v1
- Date: Sat, 25 Oct 2025 09:07:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:14.924723
- Title: Taming Silent Failures: A Framework for Verifiable AI Reliability
- Title（参考訳）: 無秩序な失敗に対処する - 検証可能なAI信頼性のためのフレームワーク
- Authors: Guan-Yan Yang, Farn Wang,
- Abstract要約: 本稿では,FAME(Formal Assurance and Monitoring Environment)を紹介する。
FAMEはオフライン形式合成の数学的厳密さを、オンラインランタイム監視の警戒と組み合わせて、不透明なAIコンポーネントを中心とした検証可能な安全ネットを作成する。
自動運転車の認識システムにおいて、FAMEは93.5%の重大な安全違反を検知し、その効果を実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of Artificial Intelligence (AI) into safety-critical systems introduces a new reliability paradigm: silent failures, where AI produces confident but incorrect outputs that can be dangerous. This paper introduces the Formal Assurance and Monitoring Environment (FAME), a novel framework that confronts this challenge. FAME synergizes the mathematical rigor of offline formal synthesis with the vigilance of online runtime monitoring to create a verifiable safety net around opaque AI components. We demonstrate its efficacy in an autonomous vehicle perception system, where FAME successfully detected 93.5% of critical safety violations that were otherwise silent. By contextualizing our framework within the ISO 26262 and ISO/PAS 8800 standards, we provide reliability engineers with a practical, certifiable pathway for deploying trustworthy AI. FAME represents a crucial shift from accepting probabilistic performance to enforcing provable safety in next-generation systems.
- Abstract（参考訳）: 人工知能(AI)を安全クリティカルなシステムに統合することで、新たな信頼性パラダイムが導入された。
本稿では,この課題に直面する新しいフレームワークであるFAME(Formal Assurance and Monitoring Environment)を紹介する。
FAMEはオフライン形式合成の数学的厳密さを、オンラインランタイム監視の警戒と組み合わせて、不透明なAIコンポーネントを中心とした検証可能な安全ネットを作成する。
自動運転車の認識システムにおいて、FAMEは93.5%の重大な安全違反を検知し、その効果を実証した。
ISO 26262とISO/PAS 8800の標準で私たちのフレームワークをコンテキスト化することによって、信頼性エンジニアに、信頼できるAIをデプロイするための実用的で認証可能なパスを提供する。
FAMEは、確率的性能を受け入れることから、次世代システムにおける証明可能な安全性を強制することへの重要なシフトである。
関連論文リスト
- SafeEvalAgent: Toward Agentic and Self-Evolving Safety Evaluation of LLMs [37.82193156438782]
本稿では, エージェント安全評価の新しいパラダイムとして, 継続的かつ自己進化的なプロセスとしてのリフレーミング評価を提案する。
本稿では、構造化されていないポリシー文書を自律的に取り込み、包括的な安全ベンチマークを生成し、永続的に進化させる、新しいマルチエージェントフレームワークSafeEvalAgentを提案する。
本実験はSafeEvalAgentの有効性を実証し,評価が強まるにつれてモデルの安全性が一貫した低下を示す。
論文 参考訳（メタデータ） (2025-09-30T11:20:41Z) - Towards Responsible AI: Advances in Safety, Fairness, and Accountability of Autonomous Systems [0.0]
この論文は、AIシステムの安全性、公正性、透明性、説明責任に関する知識を前進させる。
我々は,古典的決定論的遮蔽技術を拡張し,遅延観測に対する耐性を高める。
我々は,グループフェアネスを逐次決定設定で強制するための,新しい後処理手法であるフェアネスシールドを導入する。
論文 参考訳（メタデータ） (2025-06-11T21:30:02Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳（メタデータ） (2025-06-05T15:46:25Z) - Domain-Agnostic Scalable AI Safety Ensuring Framework [6.421238475415244]
高い性能を維持しつつ、強力な安全保証を実現するための、ドメインに依存しない最初のAI安全フレームワークを提案する。
本フレームワークは,(1) 確率制約付き最適化コンポーネント,(2) 安全性分類モデル,(3) 内部試験データ,(4) 保守的試験手順,(5) 情報的データセット品質測定,(6) 勾配勾配を有する連続近似損失関数を含む。
論文 参考訳（メタデータ） (2025-04-29T16:38:35Z) - SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。
AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。
効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
論文 参考訳（メタデータ） (2024-10-22T03:38:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。