論文の概要: AI Assurance: A Comprehensive Testing Strategy for Enterprise AI Systems
- arxiv url: http://arxiv.org/abs/2605.23459v1
- Date: Fri, 22 May 2026 10:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.308061
- Title: AI Assurance: A Comprehensive Testing Strategy for Enterprise AI Systems
- Title(参考訳): AI保証: エンタープライズAIシステムのための総合的なテスト戦略
- Authors: Chitra Badagi, Divye Singh, Animesh Sen, Adinath Shirsath,
- Abstract要約: 本稿では,3つの原則に基づいて構築されたエンタープライズAIシステムに対する包括的保証戦略を提案する。
まず、AIテストは厳格な正当性検証ではなく、継続的なリスク低減に焦点を当てるべきである。
第3に、AI保証の失敗は、従来の決定論的ソフトウェアシステムに見られるものと根本的に異なる組織的影響をもたらす可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise AI systems, built on large language models, retrieval pipelines and autonomous agents, introduce a class of risks that traditional software quality assurance was never designed to address. These systems are probabilistic, context-sensitive and emergent: they cannot be verified to be correct in the classical sense, but only evaluated with increasing confidence. This paper presents a comprehensive assurance strategy for enterprise AI systems built around three key principles: first, that AI testing should focus on continuous risk reduction rather than strict correctness verification; second, that evaluation must be treated as a core engineering discipline alongside development; and third, that failures in AI assurance can lead to organizational impacts that are fundamentally different from those seen in traditional deterministic software systems. We introduce a structured AI Failure Taxonomy, propose a revised five-layer AI Assurance Pyramid and provide operational guidance on evaluation-driven development, RAG system testing, model lifecycle management and governance. The goal is to equip engineering leaders and practitioners with a strategy that is both philosophically grounded and operationally deployable.
- Abstract(参考訳): 大規模言語モデル、検索パイプライン、自律エージェントに基づいて構築されたエンタープライズAIシステムは、従来のソフトウェア品質保証が対処するように設計されていなかった、一連のリスクを導入している。
これらのシステムは確率的であり、文脈に敏感で、創発的であり、古典的な意味では正しいと証明することはできないが、信頼性を高めてのみ評価される。
本稿では,AIテストが厳密な正当性検証ではなく,継続的なリスク低減に重点を置くこと,AIテストが開発に伴う中核的な技術規律として扱われること,AIアシュアランスの失敗が従来の決定論的ソフトウェアシステムと根本的に異なる組織的影響をもたらすこと,の3つの原則に基づいて構築された企業AIシステムに対する包括的保証戦略を提案する。
我々は、構造化されたAI失敗分類を導入し、改訂された5層AI保証ピラミッドを提案し、評価駆動開発、RAGシステムテスト、モデルライフサイクル管理、ガバナンスに関する運用ガイダンスを提供する。
目標は、哲学的基盤と運用的デプロイの両方が可能な戦略を、エンジニアリングリーダと実践者に提供することです。
関連論文リスト
- Toward Third-Party Assurance of AI Systems: Design Requirements, Prototype, and Early Testing [16.53658640529767]
我々は,AI評価のギャップに対処する,サードパーティのAI保証フレームワークを導入する。
我々は、利害の衝突を防ぎ、プロセスの信頼性と説明責任を確保するために、第三者の保証に焦点を当てる。
私たちの発見は、AI保証フレームワークが健全で包括的で、さまざまな組織的コンテキストで使用できるという、初期の証拠を示しています。
論文 参考訳(メタデータ) (2026-01-30T00:37:12Z) - AI TIPS 2.0: A Comprehensive Framework for Operationalizing AI Governance [0.0]
組織はユースケースレベルでの不適切なリスク評価に苦しむ。
ISO 42001やNIST AI RMFのような既存のフレームワークは高い概念レベルを維持している。
開発ライフサイクル全体にAIプラクティスを組み込むための体系的なアプローチはない。
論文 参考訳(メタデータ) (2025-12-09T20:57:22Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳(メタデータ) (2025-08-12T09:42:56Z) - Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳(メタデータ) (2024-10-25T07:53:32Z) - Responsible AI Pattern Catalogue: A Collection of Best Practices for AI
Governance and Engineering [20.644494592443245]
MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。
原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
論文 参考訳(メタデータ) (2022-09-12T00:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。