論文の概要: What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions
- arxiv url: http://arxiv.org/abs/2608.24022v1
- Date: Tue, 25 Aug 2026 03:24:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.784961
- Title: What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions
- Title（参考訳）: エージェントとは何か : 行動指導の局所化による無許可行動の調整
- Abstract要約: Attnlocateは、ツール呼び出しの決定に真に影響を及ぼすコンテキストのきめ細かいローカライズのためのランタイムフレームワークである。
Attnlocateは、このローカライゼーション問題をオブジェクト検出タスクとして、振る舞い誘導命令によって引き起こされるユニークなアクティベーショントレースを検出することを目的としている。
5つのLSMファミリーから10のエージェント構成にまたがるAttnlocateを評価し,間接的プロンプト注入とツール中毒のシナリオについて検討した。
- 参考スコア（独自算出の注目度）: 16.444770499696457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents integrated with external resources gain complex task capabilities, yet the unified natural-language context channel makes them vulnerable to injection attacks: untrusted external data may be dynamically parsed as behavior-guiding instructions during LLM inference, thereby subverting the agent's decision. Existing defenses focus on static detection or isolation of malicious content at the input/output level, remains insufficient for detecting such dynamic inducements that arise during model reasoning. We propose Attnlocate, a runtime framework for fine-grained localization of context spans that genuinely influence tool-calling decisions, i.e., behavior-guiding instructions. Attnlocate casts this localization problem as an object detection task, aiming to detect the distinctive activation traces induced by behavior-guiding instructions within the attention matrix. Specifically, we design a multi-head, multi-layer attention aggregation scheme to construct a token-level feature space tailored for object detection. Then, a 1-D U-Net equipped with an anchor-free detection head is deployed to detect these spans. Finally, based on the authority of the provider from which the detected behavior-guiding spans originate, Attnlocate dynamically adjudicates malicious invocation attempts. We evaluate Attnlocate across ten agent configurations from five LLM families, covering scenarios involving indirect prompt injection and tool poisoning. Attnlocate achieves a mean IoU of 0.743, an average AUROC of 0.956, and a 0.934 true-positive rate at 0.067 false-positive rate. It also transfers effectively across unseen models and supports authority policy adaptation without retraining.
- Abstract（参考訳）: 外部リソースと統合されたLLMエージェントは複雑なタスク能力を得るが、統一された自然言語コンテキストチャネルは、インジェクション攻撃に対して脆弱である:信頼されていない外部データは、LCM推論中に行動誘導命令として動的に解析され、エージェントの決定を覆す。
既存の防御は、入力/出力レベルで悪意のあるコンテンツの静的検出や隔離に重点を置いているが、モデル推論中に発生する動的な誘導を検出するには不十分である。
Attnlocateは、ツール呼び出しの決定、すなわち振る舞い誘導命令に真に影響を及ぼすコンテキストの微粒なローカライズのためのランタイムフレームワークである。
Attnlocateはこのローカライゼーション問題をオブジェクト検出タスクとして用い,注目行列内の行動誘導指示によって引き起こされる独特のアクティベーショントレースを検出することを目的としている。
具体的には、オブジェクト検出に適したトークンレベルの特徴空間を構築するために、多層多層アテンションアグリゲーションスキームを設計する。
そして、アンカーフリー検出ヘッドを備えた1次元U-Netを配置してこれらのスパンを検出する。
最後に、検出された行動ガイドが発するプロバイダの権限に基づいて、Attnlocateは悪質な呼び出しの試みを動的に調整する。
5つのLSMファミリーから10のエージェント構成にまたがるAttnlocateを評価し,間接的プロンプト注入とツール中毒のシナリオについて検討した。
Attnlocate の平均 IoU は 0.743 であり、平均 AUROC は 0.956 であり、0.934 は 0.067 の偽陽性である。
また、見知らぬモデル間で効果的に移行し、再訓練することなく権限政策の適応をサポートする。
関連論文リスト
- ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing [1.4033701678475552]
評価駆動型ルーティングアーキテクチャであるANTAPを導入する。
ANTAPは、記述ベースのルータベースラインでは67.3%以上であるのに対して、記述ベースのインジェクション攻撃に対してほぼゼロのASRを実現している。
論文 参考訳（メタデータ） (2026-06-29T16:51:06Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents [69.07911499189129]
エージェントのメタ認知判断(Knowing)を自発的実行(Acting)から切り離して認知行動アライメントを評価するフレームワークであるKAPROを紹介する。
実験の結果,自己認識能力はタスク成功と強く相関するが,内部能力設定では著しく低下することがわかった。
プロプライエタリで推論指向のモデルは、より信頼性の高い認知ゲーティングを示します。
論文 参考訳（メタデータ） (2026-06-09T17:17:08Z) - A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents [18.524016493711386]
大規模言語モデル(LLM)を利用したエージェントは、自律的なタスク実行、ツールの使用、多段階推論において強力な能力を示す。
敵対的相互作用は、直接的プロンプトインジェクション、間接的コンテンツアタック、マルチターンエスカレーション戦略を通じてエージェントの動作を操作できる。
LLMエージェントの逆相互作用パターンを検出するために,低レイテンシな不正検出層を提案する。
論文 参考訳（メタデータ） (2026-05-01T22:35:59Z) - Beyond Input Guardrails: Reconstructing Cross-Agent Semantic Flows for Execution-Aware Attack Detection [32.301679396929536]
静的な入力フィルタリングから実行対応分析へ、防御パラダイムをシフトするフレームワークであるSysNameを提案する。
SysNameは断片化された操作プリミティブを連続した行動軌跡に合成し、システムアクティビティの全体像を可能にする。
実証的な評価により、SysNameは10以上の異なる複合攻撃ベクトルを効果的に検出し、それぞれノードレベルとパスレベルのエンドツーエンド攻撃検出に対して85.3%と66.7%のF1スコアを達成した。
論文 参考訳（メタデータ） (2026-03-04T01:59:16Z) - Mask-Based Window-Level Insider Threat Detection for Campaign Discovery [0.0]
CERT r4.2データセットを用いて、教師なしウィンドウレベルのインサイダー脅威検出について検討した。
アクティビティの存在と活動の規模を明確に分けることで、パフォーマンスが大幅に向上することを示す。
マルチデイアタックキャンペーンは1日から7日間にわたって行われ、提案手法はウィンドウレベルの精度が0.71のAUCを実現する。
論文 参考訳（メタデータ） (2026-02-11T16:43:01Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - Object-Centric Latent Action Learning [70.3173534658611]
本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。
我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。
その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
論文 参考訳（メタデータ） (2025-02-13T11:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。