論文の概要: Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory
- arxiv url: http://arxiv.org/abs/2610.28315v1
- Date: Tue, 20 Oct 2026 14:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.862278
- Title: Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory
- Title(参考訳): 開示が開示する: 永続記憶を持つLLMエージェントの自己強化プライバシループ
- Abstract要約: コンサルトメモリは、ユーザが何を言うかを変えるため、メモリが何を公開するのかを尋ねる。
4つのサポートモデル全体では、メモリは応答品質を上げるだけでなく、経験的なリークも引き起こす。
属性を記述したり前提にしたりしないようエージェントに指示すると、ほとんどの品質を保ちながら、メモリレベルのリークが発生します。
- 参考スコア(独自算出の注目度): 46.53065886778032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents increasingly use persistent memory to personalize responses, and personal attributes in this memory pose a privacy risk if exposed. We ask how consulting memory during dialogue changes what users go on to say, and thus what the memory comes to reveal. In multi-session simulations, a simulated user with 24 personal attributes talks with a support agent that does or does not consult memory, and in both settings attributes are inferred from the full accumulated record. Across four support models, memory raises response quality but also empirical leakage, the share of attribute values correctly inferred from the record, by a margin that widens over sessions. The cause is a loop in ordinary, non-adversarial assistance. Memory-conditioned responses carry earlier values forward, often as presuppositions, and users affirm them or leave them uncorrected, so that cues and the agent's own guesses become recorded values. The loop reinforces itself, and removing the agent's mentions of an attribute lowers its later disclosure about twice as much as single-turn effects predict. Users cannot leave it on their own, since correcting a value discloses the attribute, declining to discuss it shifts later predictions toward sensitive values, and incorrect values left in place become entrenched. The loop is best weakened at the agent's response. Instructing the agent not to state or presuppose attributes brings leakage to about the no-memory level while keeping most of the quality gains, whereas filtering or anonymizing what users say or what is stored gives up much of them.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントは、応答をパーソナライズするために永続メモリを使用することが多く、このメモリの個人属性が露出するとプライバシー上のリスクが生じる。
対話中の記憶のコンサルテーションは、ユーザが何を言うかを変えるため、メモリが何を公開するのかを尋ねる。
マルチセッションシミュレーションでは、24の個人属性を持つシミュレートされたユーザが、メモリを参照または参照しないサポートエージェントと対話し、両方の設定属性が全蓄積レコードから推測される。
4つのサポートモデル全体では、メモリは応答品質を上昇させるが、経験的リークは、レコードから正確に推論された属性値の共有をセッションを拡大するマージンによって引き起こす。
原因は、通常の非敵支援のループである。
メモリ条件の応答は、しばしば前提として、以前の値を前もって転送し、ユーザーはそれを肯定するか、修正せずに残すため、キューとエージェント自身の推測が記録値になる。
ループは自身を補強し、エージェントの属性の言及を除去すると、後続の開示はシングルターン効果の約2倍の頻度で減少する。
値は属性を開示し、議論を控え、後続の予測をセンシティブな値にシフトし、不正確な値が定着するので、ユーザはそれを自分自身で残すことはできない。
ループはエージェントの反応で最も弱くなる。
属性を記述したり前提にしないようエージェントに指示すると、ほとんどの品質向上を維持しながら、メモリレベルのリークが発生します。
関連論文リスト
- MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity [69.32957637697743]
メモリはLLMベースのエージェントのコアコンポーネントとして機能し、過去のインタラクションからユーザの好みを抽出して使用することでパーソナライズされた応答を可能にする。
既存の評価は合成相互作用に大きく依存しており、メモリシステムが少ないため、実際のシナリオではメモリの応答の多様性が不十分である。
MemBubbleは、実際のユーザ・アシスタント・会話から抽出された好みに基づいて構築された1000インスタンスのベンチマークである。
メモリが応答分布に集中する範囲を計測するために、共有された嗜好カテゴリを通してトピック関連性を保持しながら、ユーザの嗜好とは異なるシナリオでテストクエリを構築する。
論文 参考訳(メタデータ) (2026-10-18T09:17:44Z) - Stale, Misattributed, or Late: Where Personal Memory Fails Before Generation [1.2891210250935148]
時間的妥当性は、主に私たちの設定におけるメモリ構築の特性である。
失敗したマージは古い値をアクティブに残し、偽マージは静かに現在の値を削除します。
2つの凍結ランゲージモデルが生成したテキストでプロンプトエラーを再現する。
論文 参考訳(メタデータ) (2026-10-07T15:37:12Z) - Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agents [33.055253684457625]
ステートフルなパーソナルエージェントは、長期的なユーザープロファイル、エピソード記憶、再利用可能なスキルをますます維持する。
これを持続性梅毒と呼び、Personal Agent Sycophancy Benchmark (PASB)を導入します。
PASBは、会話的クレームが受け入れられ、耐久性のあるエージェント状態に書き込まれ、後に中立なクエリで再利用されるかどうかをトレースする。
論文 参考訳(メタデータ) (2026-07-12T01:08:59Z) - Memory as an Attack Surface in LLM Agents: A Study on Multiple-Choice Question Answering [4.75542422590052]
メモリは、エージェントが事前のインタラクションを保持し、よりパーソナライズされ、コンテキスト対応のレスポンスを提供する。
本稿では,複数質問応答のためのLLMエージェントのメモリ操作について検討する。
単純なメモリ操作であっても,エージェントの最終回答に顕著に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2026-06-27T17:57:25Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳(メタデータ) (2026-06-23T13:52:46Z) - MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection [15.403262505444454]
本稿では,大規模言語モデルエージェントのための時間後因果記憶監査フレームワークを提案する。
MemAuditは、現実的なポストホック監査シナリオ下での攻撃成功率を大幅に削減する。
論文 参考訳(メタデータ) (2026-05-22T15:03:13Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳(メタデータ) (2026-02-18T09:49:14Z) - OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents [55.27061195244624]
オーバーパーソナライゼーションを3つのタイプに分類する。
エージェントは不要な場合でも、ユーザメモリを取得およびオーバーアタッチする傾向があります。
我々の研究は、メモリ拡張対話システムにおいて、より制御可能で適切なパーソナライズに向けた最初の一歩を踏み出した。
論文 参考訳(メタデータ) (2026-01-20T08:27:13Z) - CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。
タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
論文 参考訳(メタデータ) (2025-11-18T21:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。