論文の概要: CoEM: Empowering Long-Context Reasoning with Commit-on-Evidence Memory
- arxiv url: http://arxiv.org/abs/2609.36935v1
- Date: Tue, 29 Sep 2026 07:48:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.29263
- Title: CoEM: Empowering Long-Context Reasoning with Commit-on-Evidence Memory
- Title(参考訳): CoEM: コミットオンエビデンスメモリによるロングコンテキスト推論の強化
- Abstract要約: CoEM(Committ-on-Evidence Memory)は、ソースエビデンスをコンパクトなメモリ事実に変換する方法を学ぶ。
CoEMは、潜在的に有用なソースを保持し、保留中のセットで動詞を抽出する。
メモリベースラインはQwen3.5-9Bで10.4-11.4 F1ポイントを上回っている。
- 参考スコア(独自算出の注目度): 7.643658725043749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context reasoning is essential for complex and long-horizon tasks, yet the performance of large language models (LLMs) degrades as context length increases. Recent approaches address this by processing input chunk by chunk while maintaining a bounded textual memory in model context. However, premature information compression can discard critical details essential for subsequent reasoning. In this paper, we introduce Commit-on-Evidence Memory (CoEM), which learns when to convert source evidence into compact memory facts. Specifically, under a fixed context-memory budget, CoEM preserves potentially useful source excerpts verbatim in a pending set, allowing subsequent context to clarify their relevance before irreversible compression. As new context arrives, a learned policy revisits each pending excerpt and decides whether to promote it to the committed memory, retain it for further consideration, or discard it. A frozen verifier ensures proposed facts are accepted only if supported by retained excerpts and current context. To further guide effective memory management, we train this policy using reinforcement learning by combining fine-grained, step-level evidence rewards with final answer rewards. Extensive experiments demonstrate that CoEM consistently improves long-context reasoning. When evaluated on 6,400 documents long-context input, CoEM outperforms the strongest memory baseline by 10.4-11.4 F1 points on Qwen3.5-9B. Code repository: https://github.com/benmagnifico/CoEM.
- Abstract(参考訳): 長いコンテキスト推論は複雑で長い水平タスクには不可欠であるが、文脈長が増加するにつれて大きな言語モデル(LLM)の性能は低下する。
最近のアプローチでは、モデルコンテキストにおける境界付きテキストメモリを維持しながら、入力チャンクをチャンク単位で処理することでこの問題に対処している。
しかし、早すぎる情報圧縮は、その後の推論に不可欠な重要な詳細を破棄することができる。
本稿では,ソースエビデンスをコンパクトなメモリ事実に変換するタイミングを学習するCommit-on-Evidence Memory(CoEM)を紹介する。
具体的には、固定されたコンテキスト記憶予算の下で、CoEMは潜在的に有用なソースを保留中のセットで冗長に抽出し、後続のコンテキストが非可逆圧縮よりもその関連性を明らかにする。
新たなコンテキストが到来すると、学習されたポリシーは、待機中の各項目を再考し、コミットしたメモリに転送するか、さらなる考慮のため保持するか、破棄するかを決定する。
凍結検証器は、保持された抜粋と現在の文脈でサポートされている場合にのみ、提案された事実が受け入れられることを保証する。
より効果的なメモリ管理を指導するために,我々は,詳細なステップレベルのエビデンス報酬と最終回答報酬を組み合わせることで,強化学習を用いてこの方針を訓練する。
大規模な実験により、CoEMは長文推論を一貫して改善することを示した。
6400の文書の長文入力で評価すると、CoEMはQwen3.5-9B上で10.4-11.4 F1ポイントのメモリベースラインを上回っている。
コードリポジトリ:https://github.com/benmagnifico/CoEM。
関連論文リスト
- Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳(メタデータ) (2026-09-23T03:23:34Z) - Residual Vector-based Reconstruction as Long-Context Recall Regardless of Context Window Size [0.6155604731137828]
大きな言語モデル(LLM)は、長いドキュメントや長い会話を含む長いコンテキストを処理する。
LLMは入力長に比例して増加するトークンレベルのメモリ使用率に直面する。
本稿では,コンテクスト長が増加するにつれて,ニアコンスタントなGPUメモリ使用率を維持する長文リコール手法を提案する。
論文 参考訳(メタデータ) (2026-09-11T10:31:46Z) - MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents [26.87993979719045]
メモリ拡張LDMエージェントは通常、関連するメモリを検索し、直接回答モデルに入力することでクエリに応答する。
提案するMemChainは、検索した候補を応答対応アクティブメモリに変換する訓練後のメモリポリシーである。
MemChainは、クローズドソースとオープンウェイトフリートの両方の解答モデルにおいて、最先端のパフォーマンスを一貫して達成していることを示す。
論文 参考訳(メタデータ) (2026-07-27T07:37:43Z) - ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
長文推論のための LLM Harness として再帰的証拠を提案する。
長文推論を改善するための訓練不要推論法である。
128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
論文 参考訳(メタデータ) (2026-07-02T17:59:26Z) - Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory [88.81430082035617]
LLMエージェントは、蓄積された対話履歴を忠実に保存し、効率的に検索し、深く推論できるメモリシステムを必要とする。
本稿では,ソース識別子に固定された生の対話セグメントを含む3つの共存表現の粒度を格納するTriMemを提案する。
論文 参考訳(メタデータ) (2026-05-19T15:05:06Z) - Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。
このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。
ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
論文 参考訳(メタデータ) (2026-02-09T08:33:11Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳(メタデータ) (2025-10-27T18:03:50Z) - Look Back to Reason Forward: Revisitable Memory for Long-Context LLM Agents [33.617262543252494]
本稿では、メモリ履歴全体からの選択的検索を可能にするコールバック強化メモリを備えたメモリ拡張エージェントReMemR1を提案する。
また,RLMLR(Reinforcement Learning with Multi-Level Rewards)を提案する。
論文 参考訳(メタデータ) (2025-09-27T01:36:46Z) - ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory [21.4675019810992]
概念レベルのメモリは再利用され、ソリューショントレースから抽出されたモジュラー抽象化が自然言語に格納される。
我々は、合成一般化と抽象的推論を強調するベンチマークARC-AGIを評価する。
抽象概念は最も一貫したメモリ設計であり、全てのテストされた推論計算スケールでベースラインを上回ります。
論文 参考訳(メタデータ) (2025-09-04T17:54:19Z) - SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-26T07:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。