論文の概要: A Chain Is Only as Strong as Its Weakest Link: A Scoping Review of System Integration Audits in AI
- arxiv url: http://arxiv.org/abs/2608.04921v1
- Date: Wed, 05 Aug 2026 14:50:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.964289
- Title: A Chain Is Only as Strong as Its Weakest Link: A Scoping Review of System Integration Audits in AI
- Title（参考訳）: AIにおけるシステム統合監査のスコーピングレビュー
- Authors: Leah Davis, Dominic Martin, AJung Moon,
- Abstract要約: システム統合は、エアロスペースのような安全上重要な領域におけるソフトウェア監査の中心であった。
本稿では,システム統合を評価のコアテットとして扱う,AI監査のスコーピングレビューを紹介する。
- 参考スコア（独自算出の注目度）: 0.6663565015073781
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI systems become increasingly integrated into diverse interfaces and applications, model-centric audits are insufficient to address risks arising from interactions among system components and deployment environments. System integration has long been central to software audits in safety-critical domains such as aerospace. However, its role in AI auditing remains underexplored. Scanning through 4,259 documents, we present a scoping review of AI audits that treat system integration as a core tenet of evaluation (n = 58). Using reflexive thematic analysis, we analyze their elements, actors, enablers, and constraints. We find that the corpus represents an emerging yet still fragmented form of AI auditing: few existing measures target integration-specific risks; large gaps remain in meeting traditional audit expectations; and access to necessary information and resources significantly influences audit design. Nonetheless, integration can be categorized across three sites (inter-component, system-environment, and multi-system), each serving the functions of risk exploration, risk determination, coordination, and procedural regularity. Deviating from other types of evaluations, these audits assess qualities specific to system integration, including compatibility, completeness, and oversight. This review calls on the AI community to prioritize system integration as a core strategy for addressing AI risk, and to develop audit practices capable of capturing failures across components, environments, and systems beyond the reach of component-level evaluation.
- Abstract（参考訳）: AIシステムが多様なインターフェースやアプリケーションに統合されるにつれて、システムコンポーネントとデプロイメント環境間のインタラクションから生じるリスクに対処する上で、モデル中心の監査は不十分である。
システム統合は、エアロスペースのような安全上重要な領域におけるソフトウェア監査の中心であった。
しかし、AI監査におけるその役割はいまだ解明されていない。
4,259の文書をスキャンし,システム統合を評価のコアテットとして扱うAI監査のスコーピングレビュー(n = 58)を示す。
リフレクティブ・セマティック・アナリシス(reflexivethematic analysis)を用いて、それらの要素、アクター、イネーブラー、制約を分析する。
既存の手段が統合固有のリスクを目標とすること、従来の監査の期待に応える大きなギャップが残っていること、必要な情報やリソースへのアクセスが監査設計に大きく影響すること、などです。
にもかかわらず、統合は3つの場所(インターコンポーネント、システム環境、マルチシステム)にまたがって分類することができ、それぞれがリスク探索、リスク決定、調整、手続き規則の機能を果たすことができる。
他のタイプの評価から逸脱した監査は、互換性、完全性、監視など、システム統合に特有の品質を評価する。
このレビューでは、AIコミュニティに対して、AIリスクに対処するためのコア戦略としてシステム統合を優先し、コンポーネントや環境、システムの障害をコンポーネントレベルの評価の範囲を越えて捉えることのできる監査プラクティスを開発することを求める。
関連論文リスト
- FLARE-AI: Flaw Reporting for AI [51.64618567247884]
デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、報告すべきことを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有することはめったにない。
私たちは、AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査します。
我々は、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥報告システムであるFLARE-AIを紹介する。
論文 参考訳（メタデータ） (2026-06-30T12:27:09Z) - Towards Auditing AI Systems in the Wild [3.9549290063964313]
ライフサイクルを通じてデプロイされたAIシステムを監視する、原則化された監査フレームワークの開発を議論する。
この視点は、不確実性を認識した監視方法、監査基準の社会技術的仕様、監査インフラの必要性を強調している。
論文 参考訳（メタデータ） (2026-06-15T23:52:11Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - COMPASS: The explainable agentic framework for Sovereignty, Sustainability, Compliance, and Ethics [0.0]
本稿では,値整合型AIを実現するために設計された,新しいマルチエージェントオーケストレーションシステムを提案する。
このフレームワークは、オーケストレータと、主権、カーボン・アウェア・コンピューティング、コンプライアンス、倫理に対処する4つの専門のサブエージェントで構成されている。
LLM-as-a-judge法を用いることで、定量的スコアを割り当て、各評価次元について説明可能な正当化を生成する。
論文 参考訳（メタデータ） (2026-03-11T20:14:35Z) - AI Safety Evaluations Need To Consider Cascading Effects [8.250374560598493]
我々は,このカスケードを,より総合的なAI評価を支援する概念として紹介する。
カスケードは、AIサプライチェーンに沿った社会技術コンポーネント間の相互作用がどのようにして合成され、下流の結果に累積効果をもたらすかをキャプチャする。
論文 参考訳（メタデータ） (2026-02-16T15:54:02Z) - Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement [0.0]
本稿では,エンティティ中心型AIシステムのための分散境界評価フレームワークであるVB-Scoreを紹介する。
VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙する。
そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。
論文 参考訳（メタデータ） (2025-09-26T07:54:38Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳（メタデータ） (2023-07-14T16:03:27Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳（メタデータ） (2022-05-09T19:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。