論文の概要: AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems
- arxiv url: http://arxiv.org/abs/2609.14592v1
- Date: Sun, 13 Sep 2026 15:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.860862
- Title: AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems
- Title（参考訳）: AI Deployment Accountability Engineering: 安全-批判的社会-技術システムにおける説明責任AIのビジョン
- Abstract要約: このビジョンペーパーはAI Deployment Accountability Engineering (ADAE)を紹介する。
ADAEは、デプロイされたAIシステムに対して測定可能で、連続的で、実行可能な説明責任を確立することを目的とした、AIエンジニアリングのサブカテゴリである。
我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
- 参考スコア（独自算出の注目度）: 14.280538199149634
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial intelligence systems are rapidly becoming critical components in healthcare, finance, public services, and other safety-critical domains. Yet the engineering practices used to evaluate these systems remain predominantly model-centric, emphasizing properties such as accuracy, robustness, fairness, and interpretability before deployment. These properties are necessary but insufficient once an AI system operates within an ever changing socio-technical environment characterized by distribution shifts, institutional constraints, human feedback loops, privacy requirements, and interactions among multiple AI agents. This vision paper introduces AI Deployment Accountability Engineering (ADAE), a proposed AI engineering subdiscipline concerned with establishing measurable, continuous, and actionable accountability for deployed AI systems. ADAE treats accountability as a deployment-layer property rather than solely as a property of an individual model. It seeks to determine whether an AI-enabled system continues to operate within acceptable risk limits, identify the contexts in which failures emerge, attribute failures across interacting technical and human components, translate technical failures into downstream consequences, and support timely intervention. We articulate a research agenda built around four interconnected pillars: structured discovery of context-dependent failure modes, privacy-preserving accountability measurement, system-level risk analysis for agentic AI, and translation of technical failures into operational, and institutional risks. The broader goal is to establish foundational principles, mathematical tools, and system architectures for accountable AI deployment across safety-critical applications.
- Abstract（参考訳）: 人工知能システムは、医療、金融、公共サービス、その他の安全上重要な領域において、急速に重要な要素になりつつある。
しかし、これらのシステムを評価するために使用されるエンジニアリングプラクティスは、主にモデル中心であり、デプロイ前に正確性、堅牢性、公正性、解釈可能性といった特性を強調している。
これらの特性は、分散シフト、制度的制約、人間のフィードバックループ、プライバシ要件、複数のAIエージェント間のインタラクションを特徴とする、変化する社会技術的環境の中でAIシステムが動作すれば、必要だが不十分である。
このビジョンペーパーでは、AIシステムの可測性、連続性、実行可能な説明責任を確立することを目的としたAIエンジニアリングのサブカテゴリであるAI Deployment Accountability Engineering (ADAE)を紹介している。
ADAEは、説明責任を個々のモデルのプロパティとしてではなく、デプロイ層プロパティとして扱う。
AI対応システムが許容されるリスク範囲内で動作し続けるかどうかを判断し、障害が発生するコンテキストを特定し、技術的および人的コンポーネント間の特性障害を特定し、技術的障害を下流の結果に翻訳し、タイムリーな介入をサポートする。
我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
より広範な目標は、安全クリティカルなアプリケーションにまたがる説明可能なAIデプロイメントのための基礎原則、数学的ツール、システムアーキテクチャを確立することである。
関連論文リスト
- From AI Technical Debt to Agentic Technical Debt: A Systematic Mapping of Root Causes and Manifestations in Agentic AI Systems [11.878368077620337]
本稿では,エージェントAIシステムの自律的かつ協調的な性質から,技術的負債の発生,蓄積,伝播,増幅を前提としたエージェント技術的負債(AgTD)を紹介する。
確立されたAITDのエージェント的表現に対する最初の体系的マッピングを提示し、従来の負債がシステムレベルの負債へとどのように発展していくかを示す。
この結果から,エージェントの動作,調整機構,エージェント間のインタラクション,ツール,実行環境などを含むソフトウェアアーティファクトを超えて技術的負債が拡大していることが示唆された。
論文 参考訳（メタデータ） (2026-08-02T05:09:28Z) - Engineering Trustworthy Agentic AI for Critical Systems [1.8015174793525714]
この研究は、安全と制約満足度、堅牢性と信頼性、透明性と解釈可能性、説明責任と監査可能性、プライバシーとセキュリティの5つの横断的な側面で組織された信頼性モデルを採用している。
この基盤の上に構築されたエージェントシステムアーキテクチャ、脅威、具体的な信頼メカニズム、および定量的なメトリクスは、エージェントシステムの開発と評価において直接適用するために調査される。
これらの原則は、電力システム、自動運転車/ロボティクス/UAV、高性能コンピューティング、通信ネットワークの4つの制約のあるエンジニアリングドメインで検証される。
論文 参考訳（メタデータ） (2026-07-20T22:28:16Z) - Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。
デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。
この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
論文 参考訳（メタデータ） (2026-03-28T13:21:44Z) - Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳（メタデータ） (2026-02-12T12:52:49Z) - Interpreting Agentic Systems: Beyond Model Explanations to System-Level Accountability [0.6745502291821954]
エージェントシステムは、ゴール指向の振る舞いを持つ自律システムを構築するために、大規模言語モデルをどのように活用するかを変えてきた。
主に静的モデルのために開発された現在の解釈可能性技術は、エージェントシステムに適用する際の制限を示す。
本稿では,エージェントシステムにおける既存の解釈可能性手法の適合性と限界について検討する。
論文 参考訳（メタデータ） (2026-01-23T21:05:32Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Proceedings of the Robust Artificial Intelligence System Assurance
(RAISA) Workshop 2022 [0.0]
RAISAワークショップは、堅牢な人工知能(AI)と機械学習(ML)システムの研究、開発、応用に焦点を当てる。
特定のMLアルゴリズムに関してロバストネスを研究するのではなく、システムアーキテクチャのレベルでロバストネスの保証を検討することを目的としています。
論文 参考訳（メタデータ） (2022-02-10T01:15:50Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。