論文の概要: Can Agents Keep Secrets They Were Never Told? Benchmarking Latent Privacy Risks Across Sessions with MemJoin
- arxiv url: http://arxiv.org/abs/2610.24359v1
- Date: Sat, 17 Oct 2026 01:20:36 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:52:32.098544
- Title: Can Agents Keep Secrets They Were Never Told? Benchmarking Latent Privacy Risks Across Sessions with MemJoin
- Title(参考訳): エージェントは秘密保持できるのか?MemJoinのセッション全体でのプライバシーリスクのベンチマーク
- Abstract要約: MemJoinは、288の合成分析ケースのプライバシーベンチマークであり、完全な履歴にはセンシティブな関係が伴う。
我々は,6つのメモリシステムと同一の回答生成モデルと,フルヒストリーとノンヒストリー制御を併用して評価した。
- 参考スコア(独自算出の注目度): 8.173539156655286
- License:
- Abstract: To support sustained interactions and personalized assistance, agents use long-term memory to retain and combine user information across sessions. Reusing such memories can lead an agent to state a sensitive relation while completing an ordinary task that does not require it. The relation to protect and the combination of clues that reveal it may remain hidden at memory write time, when later records and tasks are still unknown. In this paper, we introduce MemJoin, a privacy benchmark of 288 synthetic analysis cases in which the complete history entails a sensitive relation, but every individual session is insufficient. We evaluate six memory systems with the same answer-generating model, alongside full-history and no-history controls. Each system writes and updates memories in session order and later retrieves context for an ordinary task, while target annotations remain with the evaluator. We separately check which target attribute values appear in stored records and retrieved context, and whether the final answer states the complete, person-linked relation. In a separate paired test on a prespecified subset, removing shared identifiers and other connecting clues can change complete-relation output while all checked target attribute values remain visible. These findings show why checking attribute visibility alone is insufficient to evaluate what records from different sessions reveal together.
- Abstract(参考訳): 持続的なインタラクションとパーソナライズされたアシストをサポートするため、エージェントは長期記憶を使用してセッション間のユーザ情報の保持と結合を行う。
このような記憶を再利用することで、エージェントは、必要のない通常のタスクを完了しながら、繊細な関係を記述できる。
保護との関係と、それを明らかにする手がかりの組み合わせは、後のレコードとタスクがまだ不明であるとき、メモリ書き込み時に隠されている可能性がある。
本稿では,288件の総合分析ケースのプライバシーベンチマークであるMemJoinを紹介する。
我々は,6つのメモリシステムと同一の回答生成モデルと,フルヒストリーとノンヒストリー制御を併用して評価した。
各システムはセッション順にメモリを書き、更新し、その後、通常のタスクのコンテキストを検索する。
我々は、格納されたレコードや検索されたコンテキストにどの属性値が現れるか、最終回答が完全な人関係を記述しているかを別々に確認する。
予め指定されたサブセット上の別のペアテストでは、共有識別子やその他の接続ヒントを削除することで、すべてのチェック対象属性が可視性を維持しながら、完全リレーション出力を変更することができる。
これらの結果から,属性の可視性のみのチェックが,異なるセッションから得られた記録をまとめて評価するには不十分な理由が示唆された。
関連論文リスト
- Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳(メタデータ) (2026-09-23T03:23:34Z) - UTILMEM: Benchmarking Evidence Utilization in Long-Term Conversational Memory [32.625416782173204]
メモリ使用率を評価するための診断ベンチマークであるUtilMemを紹介する。
従来のファクトメモリベンチマークの強い性能は、有効メモリ利用に確実に変換されないことが判明した。
これらの知見は,記憶されている情報へのアクセスと有効利用との間に大きなギャップを生じさせ,長期の会話記憶の進歩には,検索妨害に対する証拠統合と堅牢性を明確に支援するアーキテクチャが必要であることを示唆している。
論文 参考訳(メタデータ) (2026-08-31T09:41:26Z) - QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents [24.465097221083777]
textscQUMemは、クエリ条件付きユーザ状態推論のための構造化メモリフレームワークである。
textscQUMemはPersonaMemとKnowU-Benchの両方で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-08-17T06:34:24Z) - Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data [8.564332409420473]
メモリ拡張されたパーソナライズされたエージェントを評価するためのベンチマークであるセトカを提案する。
セトカは、意味記憶、エピソード記憶、行動パターン、性格特性の4つのレベルのユーザー理解を定義している。
その結果,既存のシステムではセマンティックメモリの検索に優れていたが,セマンティックメモリでは性能が低下していることがわかった。
論文 参考訳(メタデータ) (2026-07-29T15:47:40Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳(メタデータ) (2026-07-14T15:33:44Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳(メタデータ) (2026-03-24T14:04:11Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳(メタデータ) (2026-02-18T09:49:14Z) - Memory-T1: Reinforcement Learning for Temporal Reasoning in Multi-session Agents [80.33280979339123]
強化学習(RL)を用いた時間認識メモリ選択ポリシーを学習するフレームワークであるMemory-T1を紹介する。
Time-Dialogベンチマークでは、Memory-T1が7Bモデルを67.0%に引き上げ、オープンソースモデルの新たな最先端パフォーマンスを確立した。
論文 参考訳(メタデータ) (2025-12-23T06:37:29Z) - CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。
タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
論文 参考訳(メタデータ) (2025-11-18T21:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。