論文の概要: AI Assurance: A Comprehensive Testing Strategy for Enterprise AI Systems
- arxiv url: http://arxiv.org/abs/2605.23459v1
- Date: Fri, 22 May 2026 10:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.308061
- Title: AI Assurance: A Comprehensive Testing Strategy for Enterprise AI Systems
- Title（参考訳）: AI保証: エンタープライズAIシステムのための総合的なテスト戦略
- Abstract要約: 本稿では,3つの原則に基づいて構築されたエンタープライズAIシステムに対する包括的保証戦略を提案する。
まず、AIテストは厳格な正当性検証ではなく、継続的なリスク低減に焦点を当てるべきである。
第3に、AI保証の失敗は、従来の決定論的ソフトウェアシステムに見られるものと根本的に異なる組織的影響をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise AI systems, built on large language models, retrieval pipelines and autonomous agents, introduce a class of risks that traditional software quality assurance was never designed to address. These systems are probabilistic, context-sensitive and emergent: they cannot be verified to be correct in the classical sense, but only evaluated with increasing confidence. This paper presents a comprehensive assurance strategy for enterprise AI systems built around three key principles: first, that AI testing should focus on continuous risk reduction rather than strict correctness verification; second, that evaluation must be treated as a core engineering discipline alongside development; and third, that failures in AI assurance can lead to organizational impacts that are fundamentally different from those seen in traditional deterministic software systems. We introduce a structured AI Failure Taxonomy, propose a revised five-layer AI Assurance Pyramid and provide operational guidance on evaluation-driven development, RAG system testing, model lifecycle management and governance. The goal is to equip engineering leaders and practitioners with a strategy that is both philosophically grounded and operationally deployable.
- Abstract（参考訳）: 大規模言語モデル、検索パイプライン、自律エージェントに基づいて構築されたエンタープライズAIシステムは、従来のソフトウェア品質保証が対処するように設計されていなかった、一連のリスクを導入している。
これらのシステムは確率的であり、文脈に敏感で、創発的であり、古典的な意味では正しいと証明することはできないが、信頼性を高めてのみ評価される。
本稿では,AIテストが厳密な正当性検証ではなく,継続的なリスク低減に重点を置くこと,AIテストが開発に伴う中核的な技術規律として扱われること,AIアシュアランスの失敗が従来の決定論的ソフトウェアシステムと根本的に異なる組織的影響をもたらすこと,の3つの原則に基づいて構築された企業AIシステムに対する包括的保証戦略を提案する。
我々は、構造化されたAI失敗分類を導入し、改訂された5層AI保証ピラミッドを提案し、評価駆動開発、RAGシステムテスト、モデルライフサイクル管理、ガバナンスに関する運用ガイダンスを提供する。
目標は、哲学的基盤と運用的デプロイの両方が可能な戦略を、エンジニアリングリーダと実践者に提供することです。
関連論文リスト
- AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems [14.280538199149634]
このビジョンペーパーはAI Deployment Accountability Engineering (ADAE)を紹介する。
ADAEは、デプロイされたAIシステムに対して測定可能で、連続的で、実行可能な説明責任を確立することを目的とした、AIエンジニアリングのサブカテゴリである。
我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
論文 参考訳（メタデータ） (2026-09-13T15:18:41Z) - Toward Third-Party Assurance of AI Systems: Design Requirements, Prototype, and Early Testing [16.53658640529767]
我々は,AI評価のギャップに対処する,サードパーティのAI保証フレームワークを導入する。
我々は、利害の衝突を防ぎ、プロセスの信頼性と説明責任を確保するために、第三者の保証に焦点を当てる。
私たちの発見は、AI保証フレームワークが健全で包括的で、さまざまな組織的コンテキストで使用できるという、初期の証拠を示しています。
論文 参考訳（メタデータ） (2026-01-30T00:37:12Z) - AI TIPS 2.0: A Comprehensive Framework for Operationalizing AI Governance [0.0]
組織はユースケースレベルでの不適切なリスク評価に苦しむ。
ISO 42001やNIST AI RMFのような既存のフレームワークは高い概念レベルを維持している。
開発ライフサイクル全体にAIプラクティスを組み込むための体系的なアプローチはない。
論文 参考訳（メタデータ） (2025-12-09T20:57:22Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - A Framework for the Assurance of AI-Enabled Systems [0.0]
本稿では,AIシステムのリスク管理と保証のためのクレームベースのフレームワークを提案する。
論文のコントリビューションは、AI保証のためのフレームワークプロセス、関連する定義のセット、AI保証における重要な考慮事項に関する議論である。
論文 参考訳（メタデータ） (2025-04-03T13:44:01Z) - Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Responsible AI Pattern Catalogue: A Collection of Best Practices for AI
Governance and Engineering [20.644494592443245]
MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。
原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
論文 参考訳（メタデータ） (2022-09-12T00:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。