論文の概要: Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents

• arxiv url: http://arxiv.org/abs/2606.04141v1
• Date: Tue, 02 Jun 2026 18:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.332133
• Title: Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents
• Title（参考訳）: 法律の成立(第五部会) : LLMエージェントによるクレデンシャル・エクスプロイトの事前出力・マルチチュール検出に向けて
• Abstract要約: 出力トークンが出力される前に,アクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを検討する。 第3に,マルチターンフィルタを累積情報フロー問題として扱う。 その結果、クレデンシャル・エミッション・ディフェンスは、事前出力監視、カナリア検出、時間的漏洩会計を併用すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents often place sensitive credentials in the same context window as untrusted retrieved content, creating a direct path for indirect prompt injection to induce credential exfiltration. We study this failure mode through three complementary defenses. First, we ask whether activation probes can detect credential access before output tokens are emitted. Second, we construct honeytokens from format-specific character models and calibrate detection with split conformal prediction. Third, we treat multi-turn exfiltration as a cumulative information-flow problem and track an estimated leakage budget across conversation turns. In controlled experiments on open-weight models, activation features separate benign and credential-seeking prompts with high accuracy, including under held-out encoding transformations. In a small synthetic multi-turn suite, cumulative accounting detects attacks that per-turn detectors miss. These results are preliminary: the multi-turn benchmark is in-house and small, the activation method requires white-box access, and the information estimator provides a practical signal rather than a formal upper bound. Still, the results suggest that credential-exfiltration defenses should combine pre-output monitoring, calibrated canary detection, and temporal leakage accounting rather than relying only on text-level output filters.
• Abstract（参考訳）: LLMエージェントは、信頼できない検索コンテンツと同じコンテキストウィンドウに機密情報を配置し、間接的なインプロンプトインジェクションによってクレデンシャル・エクスプロイトを誘導する。 我々はこの障害モードを3つの相補的な防御を通して研究する。 まず、出力トークンが出力される前にアクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを問う。 第二に、フォーマット固有のキャラクタモデルからハネトケンを構築し、分割共形予測によるキャリブレーション検出を行う。 第3に,複数ターンの消去を累積情報フロー問題として扱い,会話ターン間のリーク予算を推定する。 オープンウェイトモデルにおける制御された実験では、アクティベーションはベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグナグニグナグニグナグニグナグニグナグニグナグニグニグナグニグニグナグナグニグナグナグニグナグナグナグニグナグナ 小さな合成マルチターンスイートでは、累積会計がターン当たりの検出器が見逃す攻撃を検出する。 これらの結果は、マルチターンベンチマークは社内で小さく、アクティベーション方法はホワイトボックスアクセスを必要とし、情報推定器は正式な上界ではなく実用的な信号を提供する。 それでも,クレデンシャル・エミッション・ディフェンスは,テキストレベルの出力フィルタのみに頼るのではなく,事前出力監視,キャナリア検出の校正,時間的リーク・カウンタリングを併用すべきであることを示唆している。

関連論文リスト

• Prediction of Prediction (PoP): Inter-Layer Activation Fusion for Single-Pass Hallucination Detection in Large Language Models [0.0]
  この研究は、生成中の内部の隠れ状態遷移ダイナミクスが、補助的な復号呼び出しを伴わずに事実エラーを信号化できるかどうかを評価する。 本稿では,層間遷移の不確実性を捉えるメカニズムである予測予測(PoP)を導入する。 PoPは受信機動作特性曲線(AUROC)の領域を75.5%の精度で達成している。
  論文  参考訳（メタデータ） (2026-08-27T14:17:14Z)
• Raw-Curve Quantum Fingerprints: A Mahalanobis Authentication Framework with Drift Early Warning and Adversarial Detection [11.819995530903567]
  量子クラウドプラットフォームは強力なコンピューティング機能を提供することを目指しているが、ユーザは、どの物理デバイスがワークロードを実行するかを検証する直接的な手段を持っていない。 この透明性の欠如により、悪意のある敵がジョブを代替または劣等なプロセッサにリダイレクトするハードウェア置換攻撃が可能になる。 実測データから多次元量子指紋を構築することにより,この問題に対処する汎用認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T04:10:21Z)
• Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs [0.0]
  既存のアプローチは、生成後に適用される別のモデレーションモデルに依存している。 我々は、モデレーションに必要な信号が隠蔽状態のモデルにすでに存在することを観察する。 トークンレベルの軽量プローブをトレーニングし、内部アクティベーションを直接操作します。
  論文  参考訳（メタデータ） (2026-06-09T07:01:43Z)
• Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations [18.44975629076816]
  その結果, 出力発生前の中間アクティベーションで安全関連挙動が表現されることが示唆された。 本稿では,全モデル適合度評価を部分的に前進パスに置き換え,遺伝的プロンプト探索ループ内でプローブベースのスコアリングを行う,プローブ誘導型AutoDANについて紹介する。
  論文  参考訳（メタデータ） (2026-05-27T14:44:36Z)
• Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework [16.430415006488865]
  TTP-Detectは、非侵襲的なサードパーティによる透かし検証のために設計された、先駆的なブラックボックスフレームワークである。 プロキシモデルを用いて、透かし関連信号を増幅し、補完的な相対的な測定を行い、透かし付き分布とクエリテキストのアライメントを評価する。 多様な攻撃に対して優れた検出性能と堅牢性を実現する。
  論文  参考訳（メタデータ） (2026-03-16T08:28:48Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs [2.2448294058653455]
  敵は電子メールやユーザー生成コンテンツなどの間接的な入力チャネルを利用してアライメント保護を回避する。 本稿では,Zero-Shot Embedding Drift Detection (ZEDD)を提案する。 ZEDDは、モデル内部へのアクセス、アタックタイプの事前知識、タスク固有の再トレーニングを必要とせずに動作する。
  論文  参考訳（メタデータ） (2026-01-18T11:33:35Z)
• SWAP: Towards Copyright Auditing of Soft Prompts via Sequential Watermarking [58.475471437150674]
  ソフトプロンプト(SWAP)のための逐次透かしを提案する。 SWAPは、特定のディフェンダー指定のアウト・オブ・ディストリビューション・クラスを通じて、透かしを符号化する。 11のデータセットの実験では、SWAPの有効性、無害性、および潜在的適応攻撃に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2025-11-05T13:48:48Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• CBW: Towards Dataset Ownership Verification for Speaker Verification via Clustering-based Backdoor Watermarking [85.68235482145091]
  大規模音声データセットは貴重な知的財産となった。 本稿では,新しいデータセットのオーナシップ検証手法を提案する。 我々のアプローチはクラスタリングに基づくバックドア透かし(CBW)を導入している。 我々は,ベンチマークデータセットに対する広範な実験を行い,本手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2025-03-02T02:02:57Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• Weakly Supervised Detection of Hallucinations in LLM Activations [4.017261947780098]
  本研究では,大規模言語モデルが内部状態の幻覚を符号化するかどうかを監査する手法を提案する。 本稿では,異常パターンを検出するために,サブセットスキャンを用いた弱教師付き監査手法を提案する。 OPTは内部で幻覚情報を符号化できるが, BERTでは幻覚を符号化する能力が限られていたことが確認された。
  論文  参考訳（メタデータ） (2023-12-05T14:35:11Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。