論文の概要: Attention-based Classification for Indirect Prompt Injection

• arxiv url: http://arxiv.org/abs/2610.28988v1
• Date: Tue, 20 Oct 2026 23:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.16049
• Title: Attention-based Classification for Indirect Prompt Injection
• Title（参考訳）: 間接プロンプト注入の注意に基づく分類
• Abstract要約: 本稿では,AgentDojoベンチマークを用いて,現実的なエージェントIPI設定におけるアテンショントラッカーの最初の評価を行う。 本稿では,スカラー閾値をフィッシャー線形判別分析器に置き換える拡張であるAttnDAを提案する。
• 参考スコア（独自算出の注目度）: 14.80574497969931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Indirect prompt injection (IPI) attacks, in which adversarial instructions are embedded in external data processed by a language model, pose a significant threat to the integrity of deployed LLM agents. Attention Tracker (Hung et al., 2025) is a recently proposed white-box detection method that identifies prompt injection attacks by monitoring how a model's attention is distributed between user task tokens and data tokens, claiming dataset-agnostic detection via a scalar focus score threshold. In this paper, we provide the first evaluation of Attention Tracker in a realistic agentic IPI setting using the AgentDojo benchmark, finding that the dataset agnosticism claim does not hold. We find that in agentic environments, long structured tool outputs subvert the fundamental assumptions Attention Tracker makes about attention that the method depends on and produces near-chance detection on AgentDojo across most model families. We propose AttnDA, an extension replacing the scalar threshold with a Fisher Linear Discriminant Analysis classifier over the per-head focus score vector, and evaluate both methods in a cross-dataset setting spanning four benchmarks. AttnDA improves detection performance across agentic and tool-integrated benchmarks, though transfer to AgentDojo remains challenging regardless of classifier choice. A covariance ablation further shows that removing inter-head correlation structure substantially contributes to performance, with complex covariance assumptions causing significant degradation on cross-domain data. These results indicate that the attentional distraction signal underlying focus-score-based detection does not transfer reliably to agentic environments, and that learned linear classifiers over head-level attention features offer improved detection performance, provided training data from the target deployment domain is available.
• Abstract（参考訳）: 間接的プロンプトインジェクション(IPI)攻撃は、言語モデルによって処理された外部データに敵の命令が埋め込まれ、デプロイされたLLMエージェントの完全性に重大な脅威をもたらす。 Attention Tracker (Hung et al , 2025) は,ユーザタスクトークンとデータトークン間でモデルの注意がどのように分散しているかを監視し,スカラーフォーカススコアしきい値によるデータセットに依存しない検出を主張することによって,迅速なインジェクション攻撃を識別する,最近提案されたホワイトボックス検出手法である。 本稿では、AgentDojoベンチマークを用いて、現実的なエージェントIPI設定において、アテンショントラッカーの最初の評価を行い、データセットの非依存性主張が保持されないことを確認する。 エージェント環境では、長い構造化されたツールが基本的な仮定を覆い隠す。 Attention Trackerは、メソッドがAgentDojoに依存し、ほとんどのモデルファミリにわたってAgentDojoに近チャンス検出を生成することに注意を払っている。 本研究では,スカラー閾値をフィッシャー線形判別分析分類器に置き換える拡張であるAttnDAを提案し,これらの手法を4つのベンチマークにまたがるクロスデータセット設定で評価する。 AttnDAはエージェントとツール統合ベンチマーク間の検出性能を改善するが、AgentDojoへの転送は分類器の選択に関係なく難しい。 共分散アブレーションは、頭部間相関構造を除去することが、複雑な共分散仮定によって、ドメイン間データに著しい劣化をもたらす性能に大きく寄与することを示している。 これらの結果から,焦点スコアに基づく検出に基づく注意障害信号がエージェント環境に確実に伝達されることはなく,学習された線形分類器は,対象の展開領域からのトレーニングデータが利用可能であれば,検出性能を向上させることが示唆された。

関連論文リスト

• COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
  一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。 最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。 本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-13T09:23:12Z)
• What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions [16.444770499696457]
  Attnlocateは、ツール呼び出しの決定に真に影響を及ぼすコンテキストのきめ細かいローカライズのためのランタイムフレームワークである。 Attnlocateは、このローカライゼーション問題をオブジェクト検出タスクとして、振る舞い誘導命令によって引き起こされるユニークなアクティベーショントレースを検出することを目的としている。 5つのLSMファミリーから10のエージェント構成にまたがるAttnlocateを評価し,間接的プロンプト注入とツール中毒のシナリオについて検討した。
  論文  参考訳（メタデータ） (2026-08-25T03:24:53Z)
• Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination [1.3218606066831913]
  教師なし学習アプローチは、ラベル付きデータセットへの依存を取り除くことによって、有望な方向を提供する。 このような汚染は検出性能を低下させ、堅牢な教師なしNIDS法の必要性を強調している。 本研究では, ラベルなし異常の存在下においても有効である, 異常検出(AD)のための堅牢なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-07-28T08:32:41Z)
• OOD-RL-Bench: A Benchmark Framework for Out-of-Distribution Detection in Reinforcement Learning [4.173831365316023]
  OOD検出器を軌道に注入された異常のカテゴリに対して評価するためのフレームワークであるOOD-RL-Benchを提案する。 インジェクタと異常インジェクタは、共有インターフェースと設定を通じて統合される。 一致時間AUROC,一致時間AUPRC,一致時間偽陽性率,検出遅延,セグメンテッドオンセット測定値を用いて,各検出器の性能評価を行った。
  論文  参考訳（メタデータ） (2026-07-14T08:57:04Z)
• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples [1.096626056612224]
  Inference Provenance Graphs (IPGs) を用いた推論前駆体分析フレームワークであるNeuroTraceを紹介する。 IPGは、モデルの前方通過中にアクティベーション動作とパラメータ誘起データフローの両方をキャプチャする異種グラフである。 攻撃中, マルチアタック, クロススリート転送設定下での逆例検出のためのIPGベース検出器の評価を行った。
  論文  参考訳（メタデータ） (2026-04-15T22:23:40Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。