論文の概要: REMORY: Learning Residual Memory for Context Compaction

• arxiv url: http://arxiv.org/abs/2610.11287v1
• Date: Thu, 08 Oct 2026 05:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.819457
• Title: REMORY: Learning Residual Memory for Context Compaction
• Title（参考訳）: REMORY:コンテキスト圧縮のための残差メモリ学習
• Abstract要約: 本稿では,要約をソフトメモリトークンの有界シーケンスで補完するニューラルネットワークREMORYを紹介する。 SummHayでは、REMORYは入力位置の5.2%しか使用せず、ほとんど変化のないインサイトカバレッジでソース属性を改善し、フルコンテクストのジョイントスコアにアプローチする。 Qwen3.8-27B と GLM-5.3-Flash のロングホライゾンエージェントベンチマークは、残メモリと一貫した利得を示している。
• 参考スコア（独自算出の注目度）: 22.11320993973582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon agents compact their history to continue within a finite context window, but a textual summary alone may not support every subsequent decision. We introduce REMORY, a neural memory network that supplements the summary with a bounded sequence of soft memory tokens. Given the history and summary, the network learns to generate tokens that help a frozen LLM approximate the continuation it would produce with the full history. The tokens are conditioned on the summary and appended after it, forming an analogue of a residual connection along the sequence dimension. On SummHay, REMORY improves source attribution at nearly unchanged insight coverage and approaches the full-context joint score using only 5.2% of the input positions. Across long-horizon agent benchmarks, Qwen3.8-27B and GLM-5.3-Flash show consistent gains with residual memory. Both models also exhibit substantially fewer repeated tool outputs and tool errors on BrowseComp and Terminal-Bench 2.1.
• Abstract（参考訳）: ロングホライゾンエージェントは、履歴を圧縮して有限コンテキストウィンドウ内で継続するが、テキストの要約だけでは、その後のすべての決定を支持できない。 本稿では,要約をソフトメモリトークンの有界シーケンスで補完するニューラルネットワークREMORYを紹介する。 履歴と要約から、ネットワークは凍結したLCMが全履歴で生成する継続を近似するのに役立つトークンを生成することを学習する。 トークンはサマリーに条件付けされ、その後に追加され、シーケンス次元に沿って残留接続のアナログを形成する。 SummHayでは、REMORYは入力位置の5.2%しか使用せず、ほとんど変化のないインサイトカバレッジでソース属性を改善し、フルコンテクストのジョイントスコアにアプローチする。 Qwen3.8-27B と GLM-5.3-Flash のロングホライゾンエージェントベンチマークは、残メモリと一貫した利得を示している。 どちらのモデルもBrowseComp と Terminal-Bench 2.1 のツール出力とツールエラーが大幅に少ない。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• Persistent Context Graphs for Efficient Memory Compaction in LLM Agents [36.77935189537971]
  既存の方法は履歴を要約するか、KVキャッシュを圧縮する。 ReCAPは注目に起因した重要度スコアと依存関係のリンクを、軽量で永続的なコンテキストグラフに格納する。 Codexのデフォルトの要約ベースの圧縮と比較すると、ReCAPは圧縮と低温回復の予測遅延を約95%削減する。
  論文  参考訳（メタデータ） (2026-09-30T16:43:28Z)
• LycheeMemory V2: Efficient Long-Term Memory for LLM Agents via Semantic Segment-Level Consolidation [27.436221279026856]
  LycheeMemory V2は、ターンレベルの統合をセマンティックセグメントレベルの統合に置き換える、効率的な長期記憶フレームワークである。 LycheeMemoryは、LoCoMoでGPT-4.12%、LongMemEval-Sで92.20%、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-13T09:13:15Z)
• PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory [30.188604861823823]
  本稿では,チャンクの並列処理機構であるPI-Memを提案する。 我々は,HotpotQAベンチマークにおいて,最大360万トークンのPI-MemをQwen3.5-35B-A3B,Qwen2.5-7Bで評価した。
  論文  参考訳（メタデータ） (2026-08-04T02:59:16Z)
• Zero-Mem: Zero-Token Memory Operations for LLM Agents [17.228305588778]
  Zero-Memは、元の相互作用トレースをレコードのソースとして保存する。 Zero-Memは、長期メモリと長期コンテキストの問合せベンチマークで競合するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-31T13:01:06Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。