論文の概要: Quantifying System-Level Harms from AI Adoption in Complex Sociotechnical Systems
- arxiv url: http://arxiv.org/abs/2608.23906v1
- Date: Mon, 24 Aug 2026 23:20:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.658336
- Title: Quantifying System-Level Harms from AI Adoption in Complex Sociotechnical Systems
- Title（参考訳）: 複雑な社会技術システムにおけるAI導入によるシステムレベルハームの定量化
- Abstract要約: 現在のAI評価はモデル中心であり、観察された振る舞いがシステムレベルのリスクにどのように変換されるかについての洞察はほとんどない。
本稿では,構造的ハザード解析,コンポーネントレベルのテスト,確率的システムモデリングをリンクするフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 4.1508766371734795
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial Intelligence (AI) is increasingly integrated into complex sociotechnical systems, including Critical National Infrastructure (CNI), where harms emerge from interactions between technical, human, and organisational elements. Yet current AI evaluation remains model-centric, offering little insight into how observed behaviours might translate into system-level risk. We propose a framework that links structured hazard analysis, component-level testing, and probabilistic system modelling to bridge this gap. By providing a traceable pathway from model behaviour to system-level outcomes, the framework enables practitioners to answer the "so what?" of AI failures, quantify their systemic impact, and move toward evidence-based and anticipatory governance of AI in complex systems. Applied to the UK's Real Time Gross Settlement (RTGS) system as an illustrative worked example, we derive AI-driven loss scenarios using Systems Theoretic Process Analysis (STPA) and examine adversarial manipulation of LLM-based trading as one such loss scenario. Component-level experiments show that simple adversarial inputs induce measurable behavioural shifts where AI recommendations are followed. Under the component-to-system mapping used here for a financial contagion model, these shifts alter system resilience, increasing bank failures and lowering the threshold at which shocks lead to cascading disruption, particularly under widespread or monopolistic AI adoption.
- Abstract（参考訳）: 人工知能(AI)は、技術的、人間的、組織的要素間の相互作用から害が生じるクリティカル・ナショナル・インフラストラクチャー(CNI)など、複雑な社会技術システムに統合されつつある。
しかし、現在のAI評価はモデル中心であり、観察された振る舞いがシステムレベルのリスクにどのように変換されるかについての洞察はほとんどない。
本稿では, このギャップを埋めるために, 構造的ハザード解析, コンポーネントレベルのテスト, 確率論的システムモデリングをリンクするフレームワークを提案する。
このフレームワークは、モデル行動からシステムレベルの結果へのトレーサブルな経路を提供することで、実践者がAI障害の"so what"に答え、システムへの影響を定量化し、複雑なシステムにおけるAIのエビデンスベースの予測的ガバナンスへと進むことを可能にする。
実例として、イギリスのリアルタイムグロス決済(RTGS)システムに適用し、システム理論プロセス分析(STPA)を用いてAI駆動の損失シナリオを導出し、そのような損失シナリオの1つとしてLLMベースのトレーディングの敵対的操作を調べる。
コンポーネントレベルの実験は、単純な敵対的な入力がAIレコメンデーションが従うような測定可能な行動シフトを引き起こすことを示している。
ここでの金融伝染モデルで使用されるコンポーネント間マッピングでは、これらのシフトによってシステムのレジリエンスが変化し、銀行の障害が増加し、ショックがカスケード障害を引き起こすしきい値が低下する。
関連論文リスト
- Windows Malware Detector as a Compound AI System: Trade-Offs in Accuracy, Efficiency, and Adversarial Robustness [11.831677944302614]
産業用Windowsマルウェア検知器は、複数の異種成分からなる複合AIシステムとして一般的に説明されている。
本稿では,検出性能,計算条件,堅牢性のトレードオフをバランスさせる新しい手法を提案する。
また、攻撃者が様々な知識を活用して複合AIシステム全体を回避する方法をキャプチャするシステムレベルの脅威モデルも導入する。
論文 参考訳（メタデータ） (2026-09-08T08:04:51Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳（メタデータ） (2026-03-20T16:27:17Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳（メタデータ） (2026-03-11T07:40:53Z) - Multi-Agent Collaborative Intrusion Detection for Low-Altitude Economy IoT: An LLM-Enhanced Agentic AI Framework [60.72591149679355]
低高度経済の急速な拡大により、インターネット・オブ・モノ(LAE-IoT)ネットワークは前例のないセキュリティ上の課題を生んだ。
従来の侵入検知システムは、空中IoT環境のユニークな特徴に対処できない。
LAE-IoTネットワークにおける侵入検出を強化するための大規模言語モデル(LLM)対応エージェントAIフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-25T12:47:25Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - The Missing Variable: Socio-Technical Alignment in Risk Evaluation [5.539407031861404]
既存のリスク評価手法では、人間、技術、組織要素間の複雑な相互作用を考慮できない。
基本的リスク方程式に統合されるように設計された新しい社会技術的アライメント$STA$変数を導入する。
論文 参考訳（メタデータ） (2025-12-06T08:59:14Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - CORTEX: Composite Overlay for Risk Tiering and Exposure in Operational AI Systems [0.812761334568906]
本稿では,AIシステムの脆弱性を評価し,評価する多層リスクスコアリングフレームワークであるCORTEXを紹介する。
AIインシデントデータベース(AIID)に記録された1200件以上のインシデントを実証分析した。
結果として得られる複合スコアは、AIリスクレジスタ、モデル監査、適合性チェック、動的ガバナンスダッシュボード間で運用することができる。
論文 参考訳（メタデータ） (2025-08-24T07:30:25Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - Beyond Accidents and Misuse: Decoding the Structural Risk Dynamics of Artificial Intelligence [0.0]
本稿では,複雑なシステム研究を基盤としたフレームワークを導入することにより,構造リスクの概念を推し進める。
構造リスクを、先行する構造的原因、先行するAIシステム原因、有害なフィードバックループの3つのカテゴリに分類する。
本稿では,これらのダイナミクスを予測し,支配するために,シナリオマッピング,シミュレーション,探索的展望を取り入れた方法論的アジェンダを提案する。
論文 参考訳（メタデータ） (2024-06-21T05:44:50Z) - Machine learning dismantling and early-warning signals of disintegration
in complex systems [0.0]
比較的小さなシステムを分解する訓練された機械が高次位相パターンを識別可能であることを示す。
注目すべきは、マシンが次の攻撃でシステムが崩壊する確率を評価することだ。
論文 参考訳（メタデータ） (2021-01-07T09:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。