論文の概要: Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use

• arxiv url: http://arxiv.org/abs/2610.31272v1
• Date: Thu, 22 Oct 2026 13:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.38965
• Title: Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use
• Title（参考訳）: メモリ・アウェア・リワード・モデリング:LLMメモリ利用のための人間の選好学習
• Abstract要約: 既存の評価は、メモリ使用がユーザにとって利益になるかどうかを直接的に決めることなく、メモリ能力を評価する。 87名の参加者から約1000名のペアによる判断を,独自のChatGPTクエリと個人記憶を用いて収集した。 メモリ条件の応答は、メモリなしで生成された応答よりも一貫して優先されない。
• 参考スコア（独自算出の注目度）: 45.80327066480901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory enables language model assistants to maintain continuity across sessions and generate personalized responses, but knowing more about a user does not necessarily produce responses they prefer. Existing evaluations assess memory capabilities without directly establishing whether memory use benefits the user. To study this gap, we collect approximately 1,000 pairwise judgments from 87 participants using their own ChatGPT queries and personal memories. We find that memory-conditioned responses are not consistently preferred over responses generated without memory and in some cases, users strongly prefer the latter. Automatic evaluators also show limited agreement with users and favor memory-conditioned responses substantially more often than users do. Motivated by these gaps, we introduce a memory-aware reward model that learns from user judgments, achieving 72.8\% preference prediction accuracy and outperforming the existing baselines. Our findings motivate evaluation and optimization objectives that align memory use with the preferences of the people whose information is being used.
• Abstract（参考訳）: メモリにより、言語モデルアシスタントはセッション間の連続性を維持し、パーソナライズされたレスポンスを生成することができる。 既存の評価は、メモリ使用がユーザにとって利益になるかどうかを直接的に決めることなく、メモリ能力を評価する。 このギャップを調査するため,87名の被験者から,自身のChatGPTクエリと個人の記憶を用いて,約1000の対の判断を収集した。 メモリ条件の応答は、メモリなしで生成される応答よりも一貫して優先されないことが分かり、場合によっては、ユーザは後者を強く好んでいる。 自動評価器は、ユーザとの限定的な合意を示し、メモリ条件の応答を、ユーザよりもはるかに頻繁に好む。 これらのギャップにより,ユーザの判断から学習し,72.8 %の嗜好予測精度を達成し,既存のベースラインよりも優れたメモリ認識報酬モデルが導入された。 本研究は、メモリ使用量と情報使用者の嗜好を一致させる評価と最適化の目的を動機付けている。

関連論文リスト

• MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity [69.32957637697743]
  メモリはLLMベースのエージェントのコアコンポーネントとして機能し、過去のインタラクションからユーザの好みを抽出して使用することでパーソナライズされた応答を可能にする。 既存の評価は合成相互作用に大きく依存しており、メモリシステムが少ないため、実際のシナリオではメモリの応答の多様性が不十分である。 MemBubbleは、実際のユーザ・アシスタント・会話から抽出された好みに基づいて構築された1000インスタンスのベンチマークである。 メモリが応答分布に集中する範囲を計測するために、共有された嗜好カテゴリを通してトピック関連性を保持しながら、ユーザの嗜好とは異なるシナリオでテストクエリを構築する。
  論文  参考訳（メタデータ） (2026-10-18T09:17:44Z)
• Know It, Act on It: Investigating Memory Utilization in LLM Personalization [12.448786190019254]
  大規模言語モデル(LLM)が,コンテキストに完全に存在する場合でも,関連するユーザの嗜好に反応しないことを示す。 我々は、同じユーザの好みに合わせて、ペア化されたノウテストとアクトテストを管理する分離された評価パラダイムを導入する。 我々は16のシステムと5つのメモリアーキテクチャにわたる大規模な実験を行い、1000の好みを3レベルの表現強度で評価した。
  論文  参考訳（メタデータ） (2026-07-31T13:57:21Z)
• From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space [27.456426188493094]
  NapMemは、ユーザ履歴をリンクされた多粒度メモリピラミッドにまとめる。 エージェントはクエリと中間的なエビデンスに従ってメモリを選択するように訓練される。
  論文  参考訳（メタデータ） (2026-07-07T03:47:12Z)
• MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
  我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。 我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。 私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
  論文  参考訳（メタデータ） (2026-06-23T13:52:46Z)
• Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory [15.297367578990903]
  プロファイル誘導型パーソナライズド検索最適化(PPRO)は対話履歴からエピソードおよびセマンティックメモリバンクを構築する。 PPROはメモリランキングにおいて明示的なパーソナライズされた先行として機能し、検索は安定したユーザー属性、好み、関係を考慮できる。 LoCoMoとLongMemEval-Sの実験では、トレーニング不要のメモリシステムよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-05-28T06:47:48Z)
• From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents [38.52713500119118]
  Memoraは、数週間から数ヶ月のユーザ会話にまたがる長期メモリベンチマークです。 ベンチマークでは、記憶、推論、レコメンデーションの3つのメモリグラウンドタスクを評価している。 FAMA(Forgetting-Aware Memory Accuracy)は、古いメモリや無効メモリへの依存を罰するメトリクスである。
  論文  参考訳（メタデータ） (2026-04-21T21:31:01Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents [55.27061195244624]
  オーバーパーソナライゼーションを3つのタイプに分類する。 エージェントは不要な場合でも、ユーザメモリを取得およびオーバーアタッチする傾向があります。 我々の研究は、メモリ拡張対話システムにおいて、より制御可能で適切なパーソナライズに向けた最初の一歩を踏み出した。
  論文  参考訳（メタデータ） (2026-01-20T08:27:13Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。