論文の概要: Taming Silent Failures: A Framework for Verifiable AI Reliability
- arxiv url: http://arxiv.org/abs/2510.22224v1
- Date: Sat, 25 Oct 2025 09:07:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:14.924723
- Title: Taming Silent Failures: A Framework for Verifiable AI Reliability
- Title（参考訳）: 無秩序な失敗に対処する - 検証可能なAI信頼性のためのフレームワーク
- Authors: Guan-Yan Yang, Farn Wang,
- Abstract要約: 本稿では,FAME(Formal Assurance and Monitoring Environment)を紹介する。
FAMEはオフライン形式合成の数学的厳密さを、オンラインランタイム監視の警戒と組み合わせて、不透明なAIコンポーネントを中心とした検証可能な安全ネットを作成する。
自動運転車の認識システムにおいて、FAMEは93.5%の重大な安全違反を検知し、その効果を実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of Artificial Intelligence (AI) into safety-critical systems introduces a new reliability paradigm: silent failures, where AI produces confident but incorrect outputs that can be dangerous. This paper introduces the Formal Assurance and Monitoring Environment (FAME), a novel framework that confronts this challenge. FAME synergizes the mathematical rigor of offline formal synthesis with the vigilance of online runtime monitoring to create a verifiable safety net around opaque AI components. We demonstrate its efficacy in an autonomous vehicle perception system, where FAME successfully detected 93.5% of critical safety violations that were otherwise silent. By contextualizing our framework within the ISO 26262 and ISO/PAS 8800 standards, we provide reliability engineers with a practical, certifiable pathway for deploying trustworthy AI. FAME represents a crucial shift from accepting probabilistic performance to enforcing provable safety in next-generation systems.
- Abstract（参考訳）: 人工知能(AI)を安全クリティカルなシステムに統合することで、新たな信頼性パラダイムが導入された。
本稿では,この課題に直面する新しいフレームワークであるFAME(Formal Assurance and Monitoring Environment)を紹介する。
FAMEはオフライン形式合成の数学的厳密さを、オンラインランタイム監視の警戒と組み合わせて、不透明なAIコンポーネントを中心とした検証可能な安全ネットを作成する。
自動運転車の認識システムにおいて、FAMEは93.5%の重大な安全違反を検知し、その効果を実証した。
ISO 26262とISO/PAS 8800の標準で私たちのフレームワークをコンテキスト化することによって、信頼性エンジニアに、信頼できるAIをデプロイするための実用的で認証可能なパスを提供する。
FAMEは、確率的性能を受け入れることから、次世代システムにおける証明可能な安全性を強制することへの重要なシフトである。
関連論文リスト
- Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies [57.521647436515785]
私たちはフロンティアAIの監査を、フロンティアAI開発者の安全とセキュリティに関する主張の厳格な第三者による検証として定義しています。
本稿では,AI保証レベル(AAL-1からAAL-4)について紹介する。
論文 参考訳（メタデータ） (2026-01-16T18:44:09Z) - MAIF: Enforcing AI Trust and Provenance with an Artifact-Centric Agentic Paradigm [0.5495755145898128]
現在のAIシステムは、監査証跡、証明追跡、EU AI Actのような新たな規則で要求される説明可能性に欠ける不透明なデータ構造で運用されている。
動作は一時的なタスクではなく、永続的で検証可能なデータアーティファクトによって駆動される、アーティファクト中心のAIエージェントパラダイムを提案する。
プロダクション対応実装では、超高速ストリーミング(2,720.7MB/s)、最適化されたビデオ処理(1,342MB/s)、エンタープライズレベルのセキュリティが示されている。
論文 参考訳（メタデータ） (2025-11-19T04:10:32Z) - SafeEvalAgent: Toward Agentic and Self-Evolving Safety Evaluation of LLMs [37.82193156438782]
本稿では, エージェント安全評価の新しいパラダイムとして, 継続的かつ自己進化的なプロセスとしてのリフレーミング評価を提案する。
本稿では、構造化されていないポリシー文書を自律的に取り込み、包括的な安全ベンチマークを生成し、永続的に進化させる、新しいマルチエージェントフレームワークSafeEvalAgentを提案する。
本実験はSafeEvalAgentの有効性を実証し,評価が強まるにつれてモデルの安全性が一貫した低下を示す。
論文 参考訳（メタデータ） (2025-09-30T11:20:41Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Towards Responsible AI: Advances in Safety, Fairness, and Accountability of Autonomous Systems [0.0]
この論文は、AIシステムの安全性、公正性、透明性、説明責任に関する知識を前進させる。
我々は,古典的決定論的遮蔽技術を拡張し,遅延観測に対する耐性を高める。
我々は,グループフェアネスを逐次決定設定で強制するための,新しい後処理手法であるフェアネスシールドを導入する。
論文 参考訳（メタデータ） (2025-06-11T21:30:02Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳（メタデータ） (2025-06-05T15:46:25Z) - Domain-Agnostic Scalable AI Safety Ensuring Framework [6.421238475415244]
高い性能を維持しつつ、強力な安全保証を実現するための、ドメインに依存しない最初のAI安全フレームワークを提案する。
本フレームワークは,(1) 確率制約付き最適化コンポーネント,(2) 安全性分類モデル,(3) 内部試験データ,(4) 保守的試験手順,(5) 情報的データセット品質測定,(6) 勾配勾配を有する連続近似損失関数を含む。
論文 参考訳（メタデータ） (2025-04-29T16:38:35Z) - Landscape of AI safety concerns -- A methodology to support safety assurance for AI-based autonomous systems [0.0]
AIは重要な技術として登場し、さまざまなアプリケーションにまたがる進歩を加速している。
AIコンポーネントを組み込んだシステムの安全性を確保するという課題は、極めて重要である。
本稿では,AIシステムにおける安全保証事例作成を支援する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-18T16:38:16Z) - SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。
AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。
効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
論文 参考訳（メタデータ） (2024-10-22T03:38:37Z) - Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T16:14:15Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。