論文の概要: Detecting and Localizing Segment-Level Poisoning in Multi-Source LLM-Agent Inputs

• arxiv url: http://arxiv.org/abs/2609.14723v1
• Date: Sun, 13 Sep 2026 18:31:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.906574
• Title: Detecting and Localizing Segment-Level Poisoning in Multi-Source LLM-Agent Inputs
• Title（参考訳）: マルチソースLDM-Agent入力におけるセグメントレベルポゾンの検出と位置決め
• Abstract要約: ActProbeは、マルチソース入力で有毒なセグメントを検出し、ローカライズするための内部状態ベースのフレームワークである。 0.01の偽陽性率、0.05の偽陰性率、および0.90の局所化F1スコアを達成する。
• 参考スコア（独自算出の注目度）: 10.050415083224532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern large language model (LLM) agents often construct prompts by aggregating retrieved passages, user reviews, and documents from multiple external sources. This paradigm exposes them to segment-level poisoning attacks, in which an adversary controlling only a small subset of sources injects malicious content to manipulate model outputs. Existing defenses mainly rely on textual patterns, external embeddings, or auxiliary detectors and may therefore fail against fluent, semantically plausible poisoned segments. They also provide limited support for locating the responsible segments. We observe that successful corrupted-evidence and adversarial-instruction attacks induce structured shifts in the LLM's internal activations, forming a consistent activation-space pattern that we call the poison direction. Based on this observation, we propose ActProbe, an internal-state-based framework for detecting and localizing poisoned segments in multi-source LLM inputs. ActProbe projects MLP activations onto a learned poison direction and uses a lightweight linear SVM trained on a small calibration set to detect contaminated prompts. It then applies BinRoL, which combines recursive replacement ablation, Mahalanobis-distance-based branch pruning, and MAD-based robust leaf detection to locate poisoned segments. ActProbe requires no modification to the backend LLM and reduces localization overhead from O(n) exhaustive probing to O(k log n) forward passes. Across three datasets, two attacks, and four open-weight LLMs, ActProbe achieves a 0.01 false-positive rate, a 0.05 false-negative rate, 0.94 localization recall, and a 0.90 localization F1-score. It remains effective against defense-aware adaptive attacks and can protect black-box APIs through surrogate-based poisoned-segment removal.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)エージェントは、検索されたパス、ユーザレビュー、複数の外部ソースからのドキュメントを集約することでプロンプトを構築することが多い。 このパラダイムは、少数のソースのみを制御する敵が悪意のあるコンテンツを注入してモデル出力を操作するような、セグメントレベルの毒殺攻撃にそれらを公開する。 既存の防御は、主にテキストパターン、外部埋め込み、または補助検出器に依存しており、それゆえ、流動的で意味論的に証明可能な有毒なセグメントに失敗する可能性がある。 また、責任のあるセグメントを見つけるための限定的なサポートも提供する。 我々は, LLMの内部活性化において, 破損した証拠と敵の指示による攻撃が構造的変化を引き起こすことを観察し, 毒の方向と呼ばれる一貫した活性化空間パターンを形成する。 そこで本研究では,多ソースLPM入力中の有毒なセグメントを検出・局所化する内部状態ベースのフレームワークであるActProbeを提案する。 ActProbeは、MDPの活性化を学習された毒の方向に投射し、小さなキャリブレーションセットで訓練された軽量線形SVMを使用して汚染されたプロンプトを検出する。 次にBinRoLを適用し、再帰的置換アブレーション、マハラノビス距離に基づく枝刈り、およびMADをベースとした堅牢な葉検出を併用して、有毒な部分を見つける。 ActProbe はバックエンドの LLM を変更する必要はなく、O(n) から O(k log n) 前方パスへの局所化オーバーヘッドを削減する。 3つのデータセット、2つの攻撃、および4つのオープンウェイトLDMにおいて、ActProbeは0.01の偽陽性率、0.05の偽陰性率、0.94のローカライゼーションリコール、0.90のローカライゼーションF1スコアを達成する。 防御対応アダプティブアタックに対して有効であり、サロゲートベースの毒殺除去によってブラックボックスAPIを保護することができる。

関連論文リスト

• What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions [16.444770499696457]
  Attnlocateは、ツール呼び出しの決定に真に影響を及ぼすコンテキストのきめ細かいローカライズのためのランタイムフレームワークである。 Attnlocateは、このローカライゼーション問題をオブジェクト検出タスクとして、振る舞い誘導命令によって引き起こされるユニークなアクティベーショントレースを検出することを目的としている。 5つのLSMファミリーから10のエージェント構成にまたがるAttnlocateを評価し,間接的プロンプト注入とツール中毒のシナリオについて検討した。
  論文  参考訳（メタデータ） (2026-08-25T03:24:53Z)
• CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs [7.4121421815806015]
  バックドア検出とトリガーインバージョンスキームは、画像などに使われるAI向けに開発された。 分類器として扱われるLLMの高効率な検出・逆変換フレームワークを開発した。 検知器の1つのバージョンはトークン埋め込み空間において連続的な最適化を行い、補助的なトリガ反転検出法は離散トークン空間においてグレディ付加を行う。
  論文  参考訳（メタデータ） (2026-06-30T08:19:00Z)
• Curvature-Guided Module Localization for Low-Rank Detoxification of Backdoored Large Language Models [9.402151821242951]
  バックドア攻撃は大規模言語モデル(LLM)に深刻な脅威をもたらす 本稿では, トリガ誘導動作の伝播に関与するモジュールをまず位置決めする, メカニカルガイドによる重み空間修復フレームワークを提案する。 提案手法は、良性モデル挙動を保ちながらトリガー条件の悪質な応答を著しく抑制することを示す。
  論文  参考訳（メタデータ） (2026-06-29T20:40:21Z)
• ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
  MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。 本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
  論文  参考訳（メタデータ） (2026-04-21T04:52:38Z)
• AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning [115.3243260783674]
  Retrieval-augmented Generation (RAG) は、外部文書を取得することにより、大きな言語モデル(LLM)推論を強化する。 攻撃者が悪意のあるコンテンツを検索コーパスに注入するRAGにおける知識ベース中毒攻撃について検討した。 AdversarialCoTは、コーパス内の1つのドキュメントだけを毒化するクエリ固有の攻撃である。
  論文  参考訳（メタデータ） (2026-04-14T02:10:23Z)
• Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs [2.2448294058653455]
  敵は電子メールやユーザー生成コンテンツなどの間接的な入力チャネルを利用してアライメント保護を回避する。 本稿では,Zero-Shot Embedding Drift Detection (ZEDD)を提案する。 ZEDDは、モデル内部へのアクセス、アタックタイプの事前知識、タスク固有の再トレーニングを必要とせずに動作する。
  論文  参考訳（メタデータ） (2026-01-18T11:33:35Z)
• Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution [49.78359632298156]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成し、大幅な進歩を遂げている。 標準クエリではモデルが正常に動作しますが、特定のトリガがアクティブになると、有害な応答や意図しない出力を生成します。 本稿では,LLMからのバックドアの挙動を知識希釈により除去する新しい手法LETHEを提案する。
  論文  参考訳（メタデータ） (2025-08-28T17:05:18Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。