論文の概要: Forensic Trajectory Signatures for Agent Memory Poisoning Detection
- arxiv url: http://arxiv.org/abs/2606.30566v1
- Date: Mon, 29 Jun 2026 17:09:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.355688
- Title: Forensic Trajectory Signatures for Agent Memory Poisoning Detection
- Title(参考訳): エージェント・メモリ・ポジショニング検出のための法軌跡署名
- Abstract要約: 攻撃が成功するには、email_send_emailの前にMemory_recall_factを呼び出す必要がある。
この不変量のみを利用する単純な規則は AUC = 0.9563 となる。
厳密にプレフィックスのみの変種は AUC = 0.934 を達成し、リアルタイムブロッキングは適度な劣化で実現可能であることを示唆している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We discover a behavioral invariant in LLM agents under persistent memory poisoning: in architectures where routing information is retrieved through observable memory-tool invocations, successful attacks require calling memory_recall_fact before email_send_email, a transition that non-exfiltrating sessions rarely exhibit. Under the evaluated architecture, this invariant follows from the attack's information-retrieval dependency rather than being merely an empirical correlation, and suppressing it breaks the attack. A simple rule exploiting this invariant alone achieves AUC = 0.9563. A Random Forest classifier over 19 trajectory features refines it to AUC = 0.9904 (BCa 95% CI [0.987, 0.993], N=10,000 resamples), demonstrating that the attack imprints on multiple independent behavioral channels. The signature is overdetermined: removing all recall-related features (half the feature set) leaves AUC unchanged at 0.990, confirming that memory poisoning induces a distributed trajectory signature rather than a single observable anomaly. Cross-model hold-out on 9 models (7B-120B parameters) confirms AUC = 1.000 on 6/9 hold-out splits, with all three exceptions mechanistically explained. The invariant generalizes to frontier models (GPT-4.1, GPT-4o) without retraining. A strictly prefix-only variant achieves AUC = 0.934, suggesting that real-time blocking is feasible with moderate degradation. The boundary is forensically useful: prompt-injection attacks that bypass memory produce a distinct trajectory (score = 0.541), enabling incident responders to distinguish memory-channel attacks from prompt-injection attacks using tool-call logs alone.
- Abstract(参考訳): 監視可能なメモリツール呼び出しを通じてルーティング情報が取得されるアーキテクチャでは、攻撃に成功するには、Eメールの前にMemory_recall_factを呼び出す必要がある。
評価されたアーキテクチャの下では、この不変性は、単に経験的相関ではなく、攻撃の情報-検索依存性から従い、攻撃を壊すことを抑える。
この不変量のみを利用する単純な規則は AUC = 0.9563 となる。
19の軌道上のランダムフォレスト分類器は、AUC = 0.9904 (BCa 95% CI [0.987, 0.993], N=10,000再サンプリング)に洗練され、攻撃が複数の独立した行動チャネルに印字されることを示す。
AUCは0.990で変化せず、メモリ中毒は単一の観測可能な異常ではなく、分散軌跡シグネチャを誘導する。
9モデルのクロスモデルホールドアウト(7B-120Bパラメータ)は、6/9のホールドアウト分割でAUC = 1.000を確認する。
この不変量は、再訓練せずにフロンティアモデル(GPT-4.1, GPT-4o)に一般化される。
厳密にプレフィックスのみの変種は AUC = 0.934 を達成し、リアルタイムブロッキングは適度な劣化で実現可能であることを示唆している。
メモリをバイパスするインシデントインジェクション攻撃(score = 0.541)により、インシデント対応者は、ツールコールログだけでインシデントインジェクションアタックとインシデントインジェクションインジェクションインジェクションアタックを区別することができる。
関連論文リスト
- Behavioral Grammar: Detecting Adaptive Malware via Tiny Language Model Priors and Second-Order Temporal Analysis [1.560152792366037]
本稿では,ホストの動作を構造化言語として扱う検出アーキテクチャである振舞い文法について述べる。
各システムイベントは、イベントタイプ、プロセス、引数スケルトン、パスカテゴリ、親プロセス、ユーザ、宛先、イベント間タイミングにまたがる8つのトークン表現に識別される。
我々は,これらの知見を共進化経済学モデルに組み入れ,行動文法検出はルール回避から分布マッチングへ回避コストをシフトさせると主張した。
論文 参考訳(メタデータ) (2026-08-01T16:28:38Z) - Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge [0.0]
Retrieval-augmented generationは、エージェントに蓄積した知識へのアクセスを与えるが、時間のモデルを持たない。
本稿では,時間的妥当性を維持する検索メモリMemStrataを提案する。
6つのベンチマークは7Bモデルでローカルに実行され、MemStrataはRAGを静的知識で結び、進化する知識で0.95-1.00の精度に達する。
論文 参考訳(メタデータ) (2026-06-25T01:31:53Z) - InstantForget: Update-Free Backdoor Unlearning with Inference-Time Feature Reset [2.347843817145202]
Backdoor Unlearningは、クリーンなユーティリティを保持しながら、デプロイされたモデルから悪意のあるトリガー動作を削除することを目的としている。
モデルパラメータが凍結状態にある更新不要な推論時間設定について検討する。
InstantForgetは、マハラノビススコアで異常な特徴をフラグ付けし、フラグ付き特徴のみを中立な非ターゲット表現へ移動させるクリーンな校正リセットである。
論文 参考訳(メタデータ) (2026-06-14T10:26:22Z) - AttackPathGNN: Cross-function vulnerability detection in smart contracts using state interference graphs and conjunction pooling [3.8615905456206256]
Solidityスマートコントラクトのための既存の学習ベースの検出は、脆弱性検出を単一関数内のパターンマッチングに還元する。
本稿では,グラフニューラルネットワーク(GNN)であるAttackPathGNNを提案する。
論文 参考訳(メタデータ) (2026-06-04T10:30:24Z) - Membership Inference Attacks on Discrete Diffusion Language Models [0.0]
MDLMの微調整によるMIA攻撃について検討し、現在の灰色のボックスベースラインが示唆しているよりもかなり脆弱であることを示す。
また、Kは非関連領域のデータに基づいて訓練された3つの代理MDLMに等しいシャドーモデル転送攻撃を設計し、ターゲット領域へのアクセスのないラベルを生成する。
論文 参考訳(メタデータ) (2026-05-15T01:38:26Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - Learning the Signature of Memorization in Autoregressive Language Models [3.6048665052465663]
我々は,任意のコーパス上の任意のモデルを微調整することで,ラベル付きデータを無制限に生成する,最初のトランスファー可能な学習攻撃を導入する。
これにより、シャドーモデルボトルネックが取り除かれ、深層学習時代へのメンバシップ推論がもたらされる。
論文 参考訳(メタデータ) (2026-04-03T17:17:51Z) - Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models [75.29749026964154]
Ourmethodは、複数のベンチマークで平均的な攻撃成功率を4.41%に下げる。
クリーンな精度と実用性はオリジナルのモデルの0.5%以内に保存される。
防衛はさまざまな種類のバックドアをまたいで一般化し、実際のデプロイメントシナリオにおける堅牢性を確認します。
論文 参考訳(メタデータ) (2025-10-11T15:47:35Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳(メタデータ) (2025-05-08T13:04:45Z) - CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。
この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。
逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文 参考訳(メタデータ) (2024-10-30T15:06:44Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳(メタデータ) (2024-05-01T12:03:39Z) - CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive
Learning [63.72975421109622]
CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。
CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
論文 参考訳(メタデータ) (2023-03-06T17:48:32Z) - On Trace of PGD-Like Adversarial Attacks [77.75152218980605]
敵対的攻撃は、ディープラーニングアプリケーションに対する安全性とセキュリティ上の懸念を引き起こす。
モデルの勾配一貫性を反映した適応応答特性(ARC)特性を構築する。
私たちの方法は直感的で、軽量で、非侵襲的で、データ不要です。
論文 参考訳(メタデータ) (2022-05-19T14:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。