論文の概要: Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents
- arxiv url: http://arxiv.org/abs/2604.23374v1
- Date: Sat, 25 Apr 2026 16:39:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.302605
- Title: Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents
- Title(参考訳): Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents
- Authors: Yuandao Cai, Wensheng Tang, Cheng Wen, Shengchao Qin,
- Abstract要約: 本稿では,自律型大規模言語モデル(LLM)エージェントに適した,初の総合的なテナント追跡フレームワークであるNeuroTaintを紹介する。
我々の重要な洞察は、LLMエージェントにおけるテント伝播は、明示的なコンテンツ転送だけでなく、意味変換、決定への因果的影響、メモリを介した断続的永続性として理解されなければならないということである。
NeuroTaintは実行トレースをオフラインにして、信頼できないソースからセマンティックエビデンス、因果推論、永続的なコンテキストトラッキングを使用して特権的なシンクまで、実績を再構築する。
- 参考スコア(独自算出の注目度): 9.294569080311442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous Large Language Model (LLM) agents are increasingly deployed to conduct complex tasks by interacting with external tools, APIs, and memory stores. However, processing untrusted external data exposes these agents to severe security threats, such as indirect prompt injection and unauthorized tool execution. Securing these systems requires effective information flow tracking. Yet, traditional taint analysis that is designed for program memory states fundamentally fails when applied to LLMs, where data propagation is governed by probabilistic natural language reasoning. In this paper, we present NeuroTaint, the first comprehensive taint tracking framework tailored for the unique information flow characteristics of LLM agents. Our key insight is that taint propagation in LLM agents must be understood not only as explicit content transfer, but also as semantic transformation, causal influence on decisions, and cross-session persistence through memory. NeuroTaint therefore audits execution traces offline to reconstruct provenance from untrusted sources to privileged sinks using semantic evidence, causal reasoning, and persistent context tracking, rather than relying on exact string matches or pre-defined source-sink paths alone. Extensive evaluation using TaintBench, our 400-scenario benchmark spanning 20 real-world agent frameworks, shows that NeuroTaint substantially outperforms FIDES, an information-flow-control (IFC)-style baseline for LLM agents, in source-sink propagation detection. We further show that NeuroTaint remains effective on established agent-security benchmarks, including InjecAgent and ToolEmu, while operating offline with modest additional auditing cost.
- Abstract(参考訳): 自律型大規模言語モデル(LLM)エージェントは、外部ツールやAPI、メモリストアと対話して複雑なタスクを実行するために、ますます多くデプロイされている。
しかしながら、信頼できない外部データを処理することで、間接的なプロンプトインジェクションや不正なツール実行など、これらのエージェントが深刻なセキュリティ上の脅威にさらされる。
これらのシステムのセキュリティには、効果的な情報フロー追跡が必要である。
しかし、プログラム記憶状態のために設計された従来のテント解析は、データ伝搬が確率的自然言語推論によって制御されるLLMに適用されると、基本的には失敗する。
本稿では,LSMエージェントのユニークな情報フロー特性に特化した,初の総合的なテナント追跡フレームワークであるNeuroTaintを提案する。
我々の重要な洞察は、LLMエージェントにおけるテント伝播は、明示的なコンテンツ転送だけでなく、意味変換、決定への因果的影響、メモリを介した断続的永続性として理解されなければならないということである。
それゆえ、NeuroTaintは、正確な文字列マッチや事前に定義されたソースシンクパスのみに頼るのではなく、セマンティックエビデンス、因果推論、永続的なコンテキストトラッキングを使用して、信頼できないソースから特権的なシンクへの証明を再構築するために、オフラインでトレースを監査する。
実世界のエージェントフレームワーク20にまたがる400-scenarioベンチマークであるTaintBenchを用いた大規模評価では、NuroTaintは、ソースシンク伝搬検出において、LLMエージェントのための情報フロー制御(IFC)スタイルのベースラインであるFIDESを大幅に上回っている。
さらに、NuroTaintは、InjecAgentやToolEmuなど、確立したエージェントセキュリティベンチマークに引き続き有効でありながら、オフラインで追加監査コストで運用していることを示す。
関連論文リスト
- AgentRaft: Automated Detection of Data Over-Exposure in LLM Agents [40.88941407116349]
本稿では,大規模言語モデル(LLM)エージェントにおけるデータオーバー露光(DOE)リスクを検出するための,最初の自動化フレームワークであるAgentRaftを紹介する。
実世界のエージェントツール6,675のテスト環境でAgentRaftを評価した。
論文 参考訳(メタデータ) (2026-03-08T09:40:54Z) - AgentTrace: A Structured Logging Framework for Agent System Observability [0.0]
AgentTraceは、このギャップを埋めるために設計された動的可観測性とテレメトリフレームワークである。
従来のロギングシステムとは異なり、AgentTraceは継続的でイントロスペクタブルなトレースキャプチャを強調している。
我々の研究は、AgentTraceがより信頼性の高いエージェントデプロイメント、きめ細かいリスク分析、情報信頼の校正を可能にする方法を強調している。
論文 参考訳(メタデータ) (2026-02-07T04:04:59Z) - The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check [54.08619694620588]
本稿では,2つの異なるエージェントパラダイムであるEmbodied AgentsとTool-Calling AgentsにまたがるdLLMの包括的評価を行う。
Agentboard と BFCL では,現在の dLLM が信頼できるエージェントバックボーンとして機能しないという,"ビットレッスン" が報告されている。
論文 参考訳(メタデータ) (2026-01-19T11:45:39Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳(メタデータ) (2026-01-12T21:31:38Z) - Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval [49.85856484781787]
本稿では,ILMエージェントを検索プロセスのアクティブマニピュレータに高める新しいパラダイムであるInteract-RAGを紹介する。
我々は、ゼロショット実行と相互作用軌跡の合成を可能にする推論強化ワークフローを開発する。
6つのベンチマーク実験により、Interact-RAGは他の高度な手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2025-10-31T15:48:43Z) - Just-in-time Episodic Feedback Hinter: Leveraging Offline Knowledge to Improve LLM Agents Adaptation [77.90555621662345]
JEF Hinterは、オフライントレースをコンパクトでコンテキスト対応のヒントに蒸留するエージェントシステムである。
ズーム機構は、長い軌道における決定的なステップを強調し、戦略と落とし穴の両方をキャプチャする。
MiniWoB++、WorkArena-L1、WebArena-Liteの実験は、JSF Hinterが一貫して強力なベースラインを上回っていることを示している。
論文 参考訳(メタデータ) (2025-10-05T21:34:42Z) - AgentSight: System-Level Observability for AI Agents Using eBPF [10.37440633887049]
既存のツールは、エージェントの高レベルな意図(LSMプロンプトを介して)または低レベルな行動(例えば、システムコール)を観察するが、これら2つのビューを関連付けることはできない。
AgentOpsはハイブリッドアプローチを使用して,このセマンティックギャップをブリッジする,AgentOpsオブザーバビリティフレームワークです。
AgentSightはTLS暗号化されたLLMトラフィックをインターセプトしてセマンティックインテントを抽出し、カーネルイベントを監視してシステム全体の効果を観察し、これら2つのストリームをプロセス境界を越えて因果的に関連付ける。
論文 参考訳(メタデータ) (2025-08-02T01:43:39Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-13T05:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。