論文の概要: CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs

• arxiv url: http://arxiv.org/abs/2511.14937v1
• Date: Tue, 18 Nov 2025 21:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.543853
• Title: CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs
• Title（参考訳）: CIMemories: LLMにおける永続メモリのコンテキスト整合性のためのコンポジションベンチマーク
• Authors: Niloofar Mireshghallah, Neal Mangaokar, Narine Kokhlikyan, Arman Zharmagambetov, Manzil Zaheer, Saeed Mahloujifar, Kamalika Chaudhuri,
• Abstract要約: 大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。 タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
• 参考スコア（独自算出の注目度）: 62.116710797795314
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) increasingly use persistent memory from past interactions to enhance personalization and task performance. However, this memory introduces critical risks when sensitive information is revealed in inappropriate contexts. We present CIMemories, a benchmark for evaluating whether LLMs appropriately control information flow from memory based on task context. CIMemories uses synthetic user profiles with over 100 attributes per user, paired with diverse task contexts in which each attribute may be essential for some tasks but inappropriate for others. Our evaluation reveals that frontier models exhibit up to 69% attribute-level violations (leaking information inappropriately), with lower violation rates often coming at the cost of task utility. Violations accumulate across both tasks and runs: as usage increases from 1 to 40 tasks, GPT-5's violations rise from 0.1% to 9.6%, reaching 25.1% when the same prompt is executed 5 times, revealing arbitrary and unstable behavior in which models leak different attributes for identical prompts. Privacy-conscious prompting does not solve this - models overgeneralize, sharing everything or nothing rather than making nuanced, context-dependent decisions. These findings reveal fundamental limitations that require contextually aware reasoning capabilities, not just better prompting or scaling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。 しかし、この記憶は、不適切な文脈でセンシティブな情報が明らかにされた場合、重大なリスクをもたらす。 タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。 CIMemoriesは、ユーザ毎に100以上の属性を持つ合成ユーザプロファイルを使用して、さまざまなタスクコンテキストとペアリングする。 評価の結果、フロンティアモデルでは最大69%の属性レベルの違反(不適切な情報収集)が見られ、低い違反率でタスクユーティリティーのコストがかかることが判明した。 使用量が1から40タスクに増加するにつれて、GPT-5の違反は0.1%から9.6%に増加し、同じプロンプトが5回実行されたときに25.1%に達した。 モデルは、曖昧でコンテキストに依存した決定を行うのではなく、すべてを過度に一般化し、共有する。 これらの発見は、単にプロンプトやスケーリングを改善するだけでなく、文脈的に意識した推論機能を必要とする基本的な制限を明らかにします。

関連論文リスト

• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)
• Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs [28.807582003957005]
  本稿では,長期記憶を必要とするタスクに対する大規模言語モデル(LLM)の能力を評価するためのフレームワークを提案する。 次に、100の会話と2000の検証済みの質問からなる新しいベンチマークであるBEAMを構築します。 モデル性能を向上させるために,LLMに3つの相補的メモリシステムを備えたLIGHT-aフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:29:52Z)
• Operationalizing Data Minimization for Privacy-Preserving LLM Prompting [10.031739933859622]
  消費者アプリケーションにおける大規模言語モデル(LLM)は、個人情報の頻繁な交換につながっている。 データ最小化を正式に定義し,運用するフレームワークを提案する。 オープンエンドの会話と知識集約的なタスクにまたがる4つのデータセット上で,このフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-10-04T04:20:18Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory [0.5584627289325719]
  大規模言語モデル(LLM)は、文脈的に一貫性のある応答を生成する際、顕著な進歩を示した。 しかし、それらの固定されたコンテキストウィンドウは、長時間のマルチセッション対話に対する一貫性を維持するための根本的な課題を生じさせる。 私たちはMem0というスケーラブルなメモリ中心アーキテクチャを導入し、進行中の会話から健全な情報を動的に抽出し、統合し、取得することでこの問題に対処します。
  論文  参考訳（メタデータ） (2025-04-28T01:46:35Z)
• Verbosity $\neq$ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models [8.846200844870767]
  大規模言語モデル(LLM)の好ましくない振る舞いの下位タイプを発見する。 我々はVerbosity Compensation (VC) を不確実性下での人間の鎮静行動と類似しているとしている。 本稿では, 冗長応答を他のモデル生成応答に置き換える, 単純で効果的なカスケードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:15:20Z)
• Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models [93.08860674071636]
  悪質なアクターが、ほぼすべてのタスク固有のデータセットの構造を微妙に操作して、危険なモデル行動を促進する方法を示す。 本稿では,タスク形式を模倣した安全データとユーザデータのスタイルを混合した新しい緩和戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-12T18:33:11Z)
• Memory Sharing for Large Language Model based Agents [43.53494041932615]
  本稿では,リアルタイムメモリフィルタ,ストレージ,検索を統合し,In-Context学習プロセスを強化するためのフレームワークであるMemory Sharingを紹介する。 実験の結果,MSフレームワークはオープンな質問に対処する際のエージェントの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-04-15T17:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。