論文の概要: CAPTURE: Disentangling Preference Drift from Memory Poisoning in Personalized LLM Agents
- arxiv url: http://arxiv.org/abs/2609.02265v1
- Date: Wed, 02 Sep 2026 08:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.146182
- Title: CAPTURE: Disentangling Preference Drift from Memory Poisoning in Personalized LLM Agents
- Title（参考訳）: パーソナライズされたLDMエージェントにおけるメモリ中毒からの選好の遠ざけ
- Abstract要約: CAPTUREは、潜伏したユーザ状態に対して、連続的に部分的に監視可能な決定プロセスである。
71.5%の勝利率であり、69.3%が同じ監督基準である。
定型的な毒殺の成功を11.5%に制限し、83.5%の真の嗜好の更新を受け入れている。
- 参考スコア（独自算出の注目度）: 0.15293427903448023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized language agents use persistent memory to adapt to users over time, but the same mechanism creates an attack surface. When new information conflicts with stored preferences, an agent must distinguish genuine preference drift from temporary context shifts, ambiguity, or adversarial memory poisoning. We formulate this problem as a continuous-time partially observable decision process over a latent user state and show why rules based only on recency and provenance are insufficient. CAPTURE addresses this ambiguity with a neural differential-equation belief tracker, a multi-timescale memory ledger, uncertainty-triggered clarification, and counterfactual auditing of cited memories. On 480 held-out episodes from 96 users, CAPTURE achieves a 71.5% win rate, compared with 69.3% for an identically supervised baseline and 66.1% for the strongest heuristic baseline. It limits fixed-policy poisoning success to 11.5% while accepting 83.5% of genuine preference updates. Under an adaptive attacker with access to the released weights, attack success rises to 24.7%, exposing a real adaptation-security tradeoff. We further evaluate the frozen system zero-shot on an independently constructed benchmark and replay longitudinal interaction histories from 40 users collected over two to three weeks. These results suggest that modeling preference authenticity explicitly can improve both personalization and robustness in memory-augmented LLM agents.
- Abstract（参考訳）: パーソナライズされた言語エージェントは、パーソナライズされたメモリを使用して、時間とともにユーザに適応するが、同じメカニズムが攻撃面を生成する。
新しい情報が保存された嗜好と矛盾する場合、エージェントは、真の嗜好の漂流を一時的な文脈シフト、曖昧さ、あるいは敵対的な記憶中毒と区別しなければならない。
我々は、この問題を、潜伏状態における部分的に観測可能な連続的な決定プロセスとして定式化し、なぜ規則が不完全であるかを示す。
CAPTUREはこの曖昧さに対処するため、ニューラル微分方程式の信念トラッカー、マルチタイムスケールのメモリ台帳、不確実性トリガーによる明確化、引用されたメモリの非実効的な監査がある。
96ユーザーの480エピソードにおいて、CAPTUREは71.5%の勝利率を獲得し、69.3%が同じ監督されたベースライン、66.1%が最強のヒューリスティックベースラインである。
定型的な毒殺の成功を11.5%に制限し、83.5%の真の嗜好の更新を受け入れている。
解放された重みにアクセス可能なアダプティブ攻撃の下では、攻撃の成功率は24.7%に上昇し、真のアダプティブセキュリティトレードオフが露呈する。
さらに,2～3週間で収集した40名のユーザからの時系列インタラクション履歴を再生し,独立に構築したベンチマークで凍結システムゼロショットの評価を行った。
これらの結果から,メモリ拡張LDMエージェントのパーソナライゼーションとロバストネスの両面において,モデリング嗜好の信頼性が顕著に向上することが示唆された。
関連論文リスト
- Chameleon: An Adaptive AI-Driven Honeypot Architecture Using Threat-Calibrated Particle Swarm Optimization and Semantic Deception Rapidly-Exploring Random Trees [0.0]
低コストの商用偽装製品は、応答エンジンがリアルタイムモデル駆動のフィードバックに結びついていないという、関連する弱点を共有している。
メカニズムは、両方の欠点に対処するために、オープンに分散されたアダプティブなハニーポットプラットフォームである。
論文 参考訳（メタデータ） (2026-08-15T20:30:14Z) - When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes [3.471896896439183]
Mixture-of-Experts (MoE)モデルはアクセラレーターメモリをはるかに上回っている。
ヒット率を上げた政策は、トークン当たりの専門家のトラフィックを減らした。
我々は、数だけでなく結論を変える3つの評価軸を評価する。
論文 参考訳（メタデータ） (2026-08-08T04:29:20Z) - Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge [0.0]
現代の検索拡張生成(RAG)システムは、ベクトル埋め込みを静的で文脈に依存しないアーティファクトとして扱う。
このフレームワークは,3つの明示的な特性 – 時間的認識,信頼の低下,関係的認識 – で密着な埋め込みを強化するものだ。
論文 参考訳（メタデータ） (2026-04-22T14:13:50Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - MemPO: Self-Memory Policy Optimization for Long-Horizon Agents [52.00646524941419]
既存のメソッドは通常、外部メモリモジュールを導入し、格納されたメモリから関連する情報を検索する。
本稿では,自己記憶ポリシー最適化アルゴリズム(MemPO)を提案する。
MemPOはF1の絶対スコアが25.98%、SOTAベースラインが7.1%、トークン使用率が67.58%、73.12%である。
論文 参考訳（メタデータ） (2026-02-28T14:43:02Z) - MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection [15.810091292280584]
MemoPhishAgent (MPA) は、フィッシング固有のツールをオーケストレーションするメモリ拡張マルチモーダルLLMエージェントである。
MPAは3つの最先端(SOTA)ベースラインを上回り、リコール率を13.6%向上させた。
MPAは本番環境にデプロイされ、60KのハイリスクURLを毎週処理し、91.44%のリコールを達成する。
論文 参考訳（メタデータ） (2026-02-24T21:50:46Z) - When Personalization Legitimizes Risks: Uncovering Safety Vulnerabilities in Personalized Dialogue Agents [49.341830745910194]
本稿では,パーソナライズされたエージェントの安全性障害である意図的正当性を明らかにする。
我々の研究は、安全障害モードとしての意図的正当性の最初の体系的な調査と評価を提供する。
論文 参考訳（メタデータ） (2026-01-25T15:42:01Z) - PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory [56.81126490418336]
パーソナライゼーションは、AI能力とアライメントの進歩における次のマイルストーンの1つだ。
PersonaMem-v2は300以上のシナリオ、20,000以上のユーザの好み、128kのコンテキストウィンドウで、1,000の現実的なユーザ-チャットボットインタラクションをシミュレートする。
我々はQwen3-4BをトレーニングしてGPT-5を上回り、暗黙のパーソナライゼーションにおいて53%の精度を達成した。
論文 参考訳（メタデータ） (2025-12-07T06:48:23Z) - CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。
この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。
逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文 参考訳（メタデータ） (2024-10-30T15:06:44Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳（メタデータ） (2024-07-17T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。