論文の概要: SoK: Trust-Authorization Mismatch in LLM Agent Interactions
- arxiv url: http://arxiv.org/abs/2512.06914v1
- Date: Sun, 07 Dec 2025 16:41:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.583945
- Title: SoK: Trust-Authorization Mismatch in LLM Agent Interactions
- Title(参考訳): SoK: LLMエージェントインタラクションにおける信頼-認証ミスマッチ
- Authors: Guanquan Shi, Haohua Du, Zhiqiang Wang, Xiaoyu Liang, Weiwenpei Liu, Song Bian, Zhenyu Guan,
- Abstract要約: 大規模言語モデル(LLM)は、外の世界と対話できる自律エージェントへと急速に進化している。
本稿ではエージェント・インタラクション・セキュリティのための統一型フォーマルレンズを提供する。
本稿では,信頼と権限のギャップに着目した新たなリスク分析モデルを提案する。
- 参考スコア(独自算出の注目度): 16.633676842555044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are rapidly evolving into autonomous agents capable of interacting with the external world, significantly expanding their capabilities through standardized interaction protocols. However, this paradigm revives the classic cybersecurity challenges of agency and authorization in a novel and volatile context. As decision-making shifts from deterministic code logic to probabilistic inference driven by natural language, traditional security mechanisms designed for deterministic behavior fail. It is fundamentally challenging to establish trust for unpredictable AI agents and to enforce the Principle of Least Privilege (PoLP) when instructions are ambiguous. Despite the escalating threat landscape, the academic community's understanding of this emerging domain remains fragmented, lacking a systematic framework to analyze its root causes. This paper provides a unifying formal lens for agent-interaction security. We observed that most security threats in this domain stem from a fundamental mismatch between trust evaluation and authorization policies. We introduce a novel risk analysis model centered on this trust-authorization gap. Using this model as a unifying lens, we survey and classify the implementation paths of existing, often seemingly isolated, attacks and defenses. This new framework not only unifies the field but also allows us to identify critical research gaps. Finally, we leverage our analysis to suggest a systematic research direction toward building robust, trusted agents and dynamic authorization mechanisms.
- Abstract(参考訳): 大規模言語モデル(LLM)は、外部との対話が可能な自律エージェントへと急速に進化し、標準化された対話プロトコルを通じてその能力を著しく拡張している。
しかし、このパラダイムは、エージェンシーと認可の古典的なサイバーセキュリティの課題を、新しく不安定な状況で復活させる。
決定論的コードロジックから自然言語によって駆動される確率論的推論へと意思決定がシフトするにつれて、決定論的行動のために設計された従来のセキュリティメカニズムは失敗する。
予測不能なAIエージェントに対する信頼を確立することは基本的に困難であり、指示が曖昧である場合、PoLP(Least Privilege)の原則を強制することは困難である。
脅威がエスカレートしているにもかかわらず、この新たな領域に対する学術コミュニティの理解は断片化され、その根本原因を分析するための体系的な枠組みが欠如している。
本稿ではエージェント・インタラクション・セキュリティのための統一型フォーマルレンズを提供する。
この領域のほとんどのセキュリティ脅威は、信頼評価と承認ポリシーの根本的なミスマッチに起因する。
本稿では,この信頼と権限のギャップに着目した新たなリスク分析モデルを提案する。
このモデルを統一レンズとして使用し、既存の、しばしば孤立しているように見える攻撃と防御の実装パスを調査し、分類する。
この新たなフレームワークは、分野を統一するだけでなく、重要な研究ギャップを特定できる。
最後に、我々の分析を利用して、堅牢で信頼性の高いエージェントと動的認証機構を構築するための体系的な研究方向を提案する。
関連論文リスト
- Extending the Formalism and Theoretical Foundations of Cryptography to AI [18.724847875398435]
言語モデル(Large Language Models)の最近の進歩は、自律型LMベースのエージェントの開発を可能にしている。
セキュリティリスクを軽減するための新たな方向の1つは、アクセス制御とパーミッション機構を通じてエージェントの動作を制限することだ。
まず、言語モデルに合わせた攻撃分類を構築することで、景観を体系化する。
次に,AIOracleをアルゴリズムで定義し,セキュリティゲームフレームワークを導入することにより,エージェントアクセス制御の形式的処理を開発する。
論文 参考訳(メタデータ) (2026-03-03T04:11:21Z) - Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳(メタデータ) (2026-02-12T12:52:49Z) - The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。
エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。
我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
論文 参考訳(メタデータ) (2026-02-10T15:18:19Z) - Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳(メタデータ) (2026-01-29T03:53:25Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳(メタデータ) (2026-01-21T15:22:21Z) - The Evolution of Agentic AI in Cybersecurity: From Single LLM Reasoners to Multi-Agent Systems and Autonomous Pipelines [0.0]
サイバーセキュリティはエージェントAIのアーリーアダプターの1つになった。
この調査は、サイバーセキュリティにおけるエージェントAIの5世代分類を提示する。
論文 参考訳(メタデータ) (2025-12-07T05:10:16Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳(メタデータ) (2025-08-12T09:42:56Z) - A Survey on Autonomy-Induced Security Risks in Large Model-Based Agents [45.53643260046778]
大規模言語モデル(LLM)の最近の進歩は、自律型AIエージェントの台頭を触媒している。
これらの大きなモデルエージェントは、静的推論システムからインタラクティブなメモリ拡張エンティティへのパラダイムシフトを示す。
論文 参考訳(メタデータ) (2025-06-30T13:34:34Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。
研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
論文 参考訳(メタデータ) (2025-04-28T16:29:24Z) - Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。
我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
論文 参考訳(メタデータ) (2025-04-11T15:41:21Z) - Autonomous Identity-Based Threat Segmentation in Zero Trust Architectures [4.169915659794567]
Zero Trust Architectures (ZTA) は,"信頼せず,すべてを検証する" アプローチを採用することで,ネットワークセキュリティを根本的に再定義する。
本研究は、ZTAにおけるAI駆動型、自律型、アイデンティティベースの脅威セグメンテーションに適用する。
論文 参考訳(メタデータ) (2025-01-10T15:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。