論文の概要: Accountable partial understanding: securing the epistemic attack surface of agentic systems

• arxiv url: http://arxiv.org/abs/2610.26799v1
• Date: Mon, 19 Oct 2026 17:44:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:18:34.911921
• Title: Accountable partial understanding: securing the epistemic attack surface of agentic systems
• Title（参考訳）: 説明責任部分的理解:エージェント系のてんかん発作面の確保
• Abstract要約: 本稿では,意図の解釈,証拠の生成と消費,委任権限の範囲,人事監督者の理解を目標とした,相互作用する攻撃カテゴリーの分類を特徴付ける。 その後、説明可能な部分的理解(APU)を定義し、明示的な仮定を持つ有界範囲、検査可能な証拠、割り当てられた責任、可視的残留未知、行動可能性、時間的保守の6つの条件を規定する。 ソフトウェアエージェントへの委譲解釈が、人々間で知識を分配することと異なる理由を説明し、リスク受け入れ、説明可能なAI、保証ケース、正式な検証、そして人間のループ監視とを区別する。
• 参考スコア（独自算出の注目度）: 3.3645377463714428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attackers profit from what defenders do not understand. Software security has treated the gap between system behavior and human comprehension as a condition to narrow through analysis and assurance, booking the remainder as accepted risk. Agentic AI systems change that gap: when software reads, writes, explains, and authorizes security-relevant behavior, partial understanding moves faster, grows more opaque, and couples to delegated authority. This paper characterizes the resulting epistemic attack surface and presents a taxonomy of four interacting attack categories, which target the interpretation of intent, the production and consumption of evidence, the scope of delegated authority, and the comprehension of human supervisors. It then defines accountable partial understanding (APU) and specifies six necessary conditions: bounded scope with explicit assumptions, inspectable evidence, assigned responsibility, visible residual unknowns, actionability, and temporal maintenance. It explains why delegating interpretation to software agents differs from distributing knowledge among people and distinguishes APU from risk acceptance, explainable AI, assurance cases, formal verification, and human-in-the-loop oversight. From the conditions, the paper derives five design principles: bounded delegation, decoupled evidence, assumption tracking with invalidation, role-specific accountability views, and intervention-preserving design with residual unknown registers. It introduces two measurable probe dimensions, evidence linkage and invalidation latency, for testing whether accountability mechanisms hold under change and adversarial pressure. Three running examples (an AI coding agent, an autonomous cyber-defense agent, and an AI-mediated insulin delivery update) ground the analysis. Security without full understanding is already here; the task is to make it accountable.
• Abstract（参考訳）: 攻撃者は、被告が理解していないものから利益を得る。 ソフトウェアセキュリティは、システム行動と人間の理解のギャップを分析と保証を通じて狭める条件として扱い、残りのものを受け入れられたリスクとして予約した。 エージェントAIシステムは、そのギャップを変えます – ソフトウェアがセキュリティ関連行動を読み書きし、説明し、認可するとき、部分的理解はより速く動き、より不透明になり、カップルは委譲された権限に変わります。 本報告では, 結果として生じる疫学的攻撃面を特徴付けるとともに, 意図の解釈, 証拠の生成と消費, 委任された権限の範囲, 人間の監督者の理解を目標とした, 4つの相互作用する攻撃カテゴリの分類について述べる。 その後、説明可能な部分的理解(APU)を定義し、明示的な仮定を持つ有界範囲、検査可能な証拠、割り当てられた責任、可視的残留未知、行動可能性、時間的保守の6つの条件を規定する。 ソフトウェアエージェントへの委譲解釈が、人々間で知識を分配することと異なり、APUがリスク受け入れ、説明可能なAI、保証ケース、正式な検証、そして人間のループ監視とを区別する理由を説明する。 この条件から、本論文は、5つの設計原則を導出する:有界デリゲート、分離された証拠、無効化による仮定追跡、役割固有の説明責任ビュー、未知のレジスタを持つ介入保存設計。 2つの測定可能なプローブ次元、エビデンスリンクと無効化レイテンシを導入し、説明責任機構が変化下で保持されるかどうかを検証した。 AIコーディングエージェント、自律サイバー防御エージェント、AIによるインスリンデリバリーアップデートの3つの実行例が分析の基礎となっている。 完全な理解のないセキュリティはすでにここにある。

関連論文リスト

• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Cyber-Capable AI Agents: Vulnerabilities, Evaluation Containment, and Defensive Response [0.0]
  サイバー対応AIエージェントは、言語モデルとツール、メモリ、実行環境を組み合わせて、攻撃的なセキュリティタスクを実行する。 このレビューでは、その境界における5つの脆弱性クラスを合成する。マルチステップ攻撃チェーン、サンドボックス境界と競合する目的、サプライチェーンとクレデンシャル露出、永続的なコマンド・アンド・コントロール、自動アクションのスピード。
  論文  参考訳（メタデータ） (2026-07-28T07:34:37Z)
• Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
  ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。 本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。 本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
  論文  参考訳（メタデータ） (2026-07-20T17:01:50Z)
• Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
  Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。 デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。 この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
  論文  参考訳（メタデータ） (2026-03-28T13:21:44Z)
• Agents of Chaos [50.53354213047402]
  実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。 20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。 我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
  論文  参考訳（メタデータ） (2026-02-23T16:28:48Z)
• Operational Agency: A Permeable Legal Fiction for Tracing Culpability in AI Systems [0.31061678033205636]
  本条では、後述の枠組み及び運用機関グラフ(OAG)として構成された、通用可能な法的フィクションについて紹介する。 OAはAIの観測可能な運用特性を評価する。 OAGは、これらの特徴を因果グラフに埋め込んで、開発者、ファインタウンタ、デプロイ者、ユーザ間の計算可能性を追跡し、評価することで、その分析を運用する。
  論文  参考訳（メタデータ） (2026-02-20T01:49:03Z)
• AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
  このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。 我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。 我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
  論文  参考訳（メタデータ） (2025-11-27T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。