論文の概要: Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents
- arxiv url: http://arxiv.org/abs/2606.27472v1
- Date: Thu, 25 Jun 2026 18:50:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.291875
- Title: Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents
- Title（参考訳）: Supersede: LLMエージェントのメモリ更新ギャップの診断とトレーニング
- Abstract要約: 大規模言語モデル(LLM)エージェントは、事実が変化する長い多セッションの相互作用で機能する。
正しく行動するためには、事実の現在の値を使用し、置き換えられた値を捨てる必要がある。
この測定結果をトレーニング信号に変換するオープンな強化学習環境であるSupersedeをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents operate over long, multi-session interactions in which facts change: a user moves, a price updates, a plan is revised. Acting correctly requires using the current value of a fact and discarding values that have been superseded. We isolate this ability on real conversational data and show that it is a distinct, unsolved failure. On the knowledge-update subset of LongMemEval, replacing an agent's full context with a bounded, self-maintained memory drops accuracy from 92% to 77% even on a frontier model (gpt-5.4), a gap that is statistically significant (paired McNemar p<0.005) and persists across model scale while full-context accuracy saturates near 92%. The bottleneck is therefore memory maintenance, not comprehension, and is not closed by a stronger model. We then ask whether this is merely an undersized memory, and find it is not: as the conversation grows 24x, accuracy falls further (from 68% to 28%), and granting the agent proportionally more memory yields no detectable recovery (28% to 28%, n=25). The failure scales with the length of the conversation, not the compression ratio. We release Supersede, an open reinforcement-learning environment (on the verifiers / prime-rl stack) that turns this measurement into a training signal: agents are rewarded for answering from the current value and penalized for stale ones. Finally, we close the loop and show the gap is trainable: GRPO fine-tuning a small open model (Qwen2.5-3B) on this environment nearly doubles its held-out supersession accuracy on real, unseen conversations (9.0% to 16.7%, a single run), along a monotonic checkpoint curve indicating the learned policy, not the harness, carries the gain. To our knowledge this is the first trainable environment whose reward targets temporal fact-currency, and the first evidence the supersession gap can be trained down, not only measured.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ユーザが動き、価格を更新し、計画が修正されるという、事実が変化する長いマルチセッションのインタラクションを運用する。
正しく実行するには、事実の現在の値を使用し、取って代わられた値を捨てる必要がある。
我々は、実際の会話データからこの能力を分離し、それは明らかに未解決の失敗であることを示す。
LongMemEvalの知識更新サブセットでは、エージェントの完全なコンテキストを境界付きメモリに置き換えると、フロンティアモデル(gpt-5.4)でも精度が92%から77%に低下する(McNemar p<0.005)。
したがって、ボトルネックはメモリメンテナンスであり、理解せず、より強力なモデルによって閉じられません。
会話が24倍に成長すると、精度はさらに低下し(68%から28%)、エージェントに比例的にメモリを増やせば、検出可能なリカバリが得られない(28%から28%、n=25)。
失敗は、圧縮比ではなく、会話の長さとともにスケールする。
我々は、(検証/素数スタック上の)オープンな強化学習環境であるSupersedeをリリースし、この測定結果をトレーニング信号に変換する。
GRPOは、この環境で小さなオープンモデル(Qwen2.5-3B)を微調整することで、実際の、目に見えない会話(9.0%から16.7%)における保持されたスーパーセッションの精度をほぼ2倍にし、ハーネスではなく学習方針を示す単調なチェックポイント曲線が利得をもたらす。
私たちの知る限り、これは報酬が時間的事実通貨を対象とする最初のトレーニング可能な環境であり、最初の証拠は、測定だけでなく、スーパーセッションギャップをトレーニングすることができる。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - The Memory Trust Gap: Capability-Dependent Failures in Persistent-Memory Agents [0.0]
永続メモリはパーソナライズされたエージェントをサポートするが、古い保存された事実は警告なしで現在の信頼できる証拠をオーバーライドすることができる。
モデル能力が変化するにつれて、この害がいつ始まるかを研究する。
論文 参考訳（メタデータ） (2026-09-01T20:35:00Z) - Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge [0.0]
Retrieval-augmented generationは、エージェントに蓄積した知識へのアクセスを与えるが、時間のモデルを持たない。
本稿では,時間的妥当性を維持する検索メモリMemStrataを提案する。
6つのベンチマークは7Bモデルでローカルに実行され、MemStrataはRAGを静的知識で結び、進化する知識で0.95-1.00の精度に達する。
論文 参考訳（メタデータ） (2026-06-25T01:31:53Z) - Learning What to Remember: A Cognitively Grounded Multi-Factor Value Model for Agentic Memory [1.2127875744950842]
LLMエージェントは、どのコンテキストウィンドウよりもはるかに大きなインタラクション履歴を蓄積する。
生産システムは意味的類似性や傾向に答える。
本研究では、7つの解釈可能な因子に対する多要素記憶関数 V(m)=sum_i w_i f_i(m) を提案する。
論文 参考訳（メタデータ） (2026-06-11T06:17:31Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-01T21:49:54Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - Learn by Surprise, Commit by Proof [0.0]
本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。
通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。
学習強度は1つのパラメータ$r$で管理される。
論文 参考訳（メタデータ） (2026-04-02T12:17:10Z) - Knowledge Access Beats Model Size: Memory Augmented Routing for Persistent AI Agents [9.457255218406333]
プロダクションAIエージェントは、非常に反復的なユーザ固有のクエリを頻繁に受信する。
この冗長性は会話記憶によって利用でき、コスト負担から効率上の利点へと繰り返し変換される。
論文 参考訳（メタデータ） (2026-03-24T09:55:11Z) - When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning [50.486479460454866]
より安定かつ効率的な長文推論のための2つのテキスト制御ゲートを組み込んだGRU-Memを提案する。
GRU-Memは一般的に、最大400%の推論速度加速でバニラMemAgentを上回っている。
論文 参考訳（メタデータ） (2026-02-11T06:14:53Z) - Compact Memory for Continual Logistic Regression [45.6774409797545]
本稿では,ロジスティック回帰のためのコンパクトメモリ構築手法を提案する。
弊社のアプローチは、Experience Replayに比べて大幅に精度を向上できる。
我々の研究は、連続的な深層学習に役立つコンパクトメモリを構築するための新しい方向を開く。
論文 参考訳（メタデータ） (2025-11-12T10:05:06Z) - Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。
オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。
短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
論文 参考訳（メタデータ） (2025-10-20T16:45:43Z) - SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs [72.06808538971487]
大規模言語モデル(LLM)が行動予測に「心の理論」(ToM)を暗黙的に適用できるかどうかを検証する。
ToM推論の異なる程度をテストする3つの質問を含む新しいデータセットSimpleTomを作成します。
私たちの知る限り、SimpleToMは、現実的なシナリオにおけるメンタルステートの知識を必要とする下流の推論を探求する最初のデータセットです。
論文 参考訳（メタデータ） (2024-10-17T15:15:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。