論文の概要: AI Safety Evaluations Need To Consider Cascading Effects
- arxiv url: http://arxiv.org/abs/2603.00088v1
- Date: Mon, 16 Feb 2026 15:54:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-15 16:44:32.370423
- Title: AI Safety Evaluations Need To Consider Cascading Effects
- Title(参考訳): カスケード効果を考慮すべきAIの安全性評価
- Authors: Anna Neumann, Jatinder Singh,
- Abstract要約: 我々は,このカスケードを,より総合的なAI評価を支援する概念として紹介する。
カスケードは、AIサプライチェーンに沿った社会技術コンポーネント間の相互作用がどのようにして合成され、下流の結果に累積効果をもたらすかをキャプチャする。
- 参考スコア(独自算出の注目度): 8.250374560598493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems comprise a range of interactions across the technical and organisational components of a range of actors. These components work together to provide the systems' functionality. This socio-technical assemblage is increasingly described as an algorithmic supply chain. Given their role in supporting a wide range of systems, foundation models (FMs) are increasingly a key part of many algorithmic supply chains. In practice, various technical and non-technical components work to mediate, adapt, and augment the behaviour of models, such as FMs, both in general, and for their use in specific application contexts. However, many AI safety evaluations tend to focus on capabilities of FMs themselves and/or assess these components independently, at certain levels of abstraction, with less consideration on how these components could interact, influence, reinforce or counteract each other. In this paper, we introduce the cascade as a concept for supporting more holistic AI evaluations. The cascade captures how the interactions between socio-technical components along the AI supply chain can compound and produce cumulative effects with downstream consequences. Specifically, we (i) identify gaps in current AI auditing approaches, using LLMs as our case study; (ii) demonstrate how cascade problems manifest in deployed AI systems through a characterisation of cascades through different viewpoints (component and stakeholder), and (iii) propose research directions for assessing the cascade specifically as an object of analysis. As these cascades can significantly impact transparency, accountability, security, and safety, we advocate for a paradigm shift in AI system auditing towards systems-oriented audits that incorporate cascading effects, to complement model centric evaluations.
- Abstract(参考訳): AIシステムは、さまざまなアクターの技術的および組織的コンポーネントにわたるさまざまなインタラクションから構成される。
これらのコンポーネントは協調してシステムの機能を提供します。
この社会技術的集合体は、アルゴリズム的なサプライチェーンとしてますます説明されている。
幅広いシステムをサポートする上での役割を考えると、ファンデーションモデル(FM)は多くのアルゴリズムサプライチェーンの重要な部分となっている。
実際、様々な技術および非技術コンポーネントは、FMのようなモデルの振る舞いを仲介し、適応し、拡張するために働きます。
しかし、多くのAI安全性評価は、FM自体の能力に焦点を当て、特定のレベルの抽象化でこれらのコンポーネントを独立して評価する傾向があり、これらのコンポーネントがどのように相互作用し、影響し、強化し、相互に対処するかは考慮されていない。
本稿では,このカスケードを,より総合的なAI評価を支援する概念として紹介する。
カスケードは、AIサプライチェーンに沿った社会技術コンポーネント間の相互作用がどのようにして合成され、下流の結果に累積効果をもたらすかをキャプチャする。
具体的には
i) LLMをケーススタディとして、現在のAI監査アプローチにおけるギャップを識別する。
(II)異なる視点(コンポーネントとステークホルダー)によるカスケードの特徴化を通じて、デプロイされたAIシステムにおけるカスケード問題がどのように現われるかを実証し、
三 分析対象として特にカスケードを評価するための研究指針を提案すること。
これらのカスケードは透明性、説明責任、セキュリティ、安全性に大きな影響を与える可能性があるため、我々は、モデル中心の評価を補完するために、カスケード効果を含むシステム指向監査へのAIシステムの監査のパラダイムシフトを提唱する。
関連論文リスト
- CIRCLE: A Framework for Evaluating AI from a Real-World Lens [10.028017198571833]
CIRCLEは、モデル中心のパフォーマンスメトリクスと、デプロイメントにおけるAIの実体化された結果とのギャップを埋めることを目的としている。
CIRCLEは、コンテキストに敏感な質的洞察とスケーラブルな定量的メトリクスをリンクするための構造化された予測プロトコルを提供する。
論文 参考訳(メタデータ) (2026-02-27T14:43:23Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳(メタデータ) (2025-11-27T16:56:04Z) - DURA-CPS: A Multi-Role Orchestrator for Dependability Assurance in LLM-Enabled Cyber-Physical Systems [2.118898809872991]
CPS(Cyber-Physical Systems)は、重要なアプリケーションで運用する高度なAI技術に依存している。
従来の検証と検証方法は、AIコンポーネントの予測不可能でダイナミックな性質を扱うのに苦労することが多い。
我々は,AIによるCPSの反復保証プロセスを自動化するために,マルチロールオーケストレーションを利用する新しいフレームワークであるDURA-CPSを紹介する。
論文 参考訳(メタデータ) (2025-06-04T21:04:21Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳(メタデータ) (2025-04-12T01:27:49Z) - Interpretable Concept-based Deep Learning Framework for Multimodal Human Behavior Modeling [5.954573238057435]
EUの一般データ保護規則は、リスクの高いAIシステムが十分に解釈可能であることを要求している。
既存の説明可能なメソッドは、しばしば解釈可能性とパフォーマンスを妥協する。
我々は、新しく一般化可能なフレームワーク、すなわち注意誘導概念モデル(AGCM)を提案する。
AGCMは、予測につながる概念とそれらがどこに観察されるかを特定することによって、学習可能な概念的な説明を提供する。
論文 参考訳(メタデータ) (2025-02-14T13:15:21Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳(メタデータ) (2024-10-29T20:43:18Z) - Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。
現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。
我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
論文 参考訳(メタデータ) (2020-07-13T20:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。