論文の概要: Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory

• arxiv url: http://arxiv.org/abs/2607.28263v1
• Date: Thu, 30 Jul 2026 14:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.605089
• Title: Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory
• Title（参考訳）: 理解が早い - 大規模言語モデルにおける労働深層部とその非有界記憶への応用
• Abstract要約: CoMemは、各コンテキストチャンクを中間層のみに書き込み、一定の数のキャッシュ状態を取得し、結果のパック上でクエリ条件付き上位層を再計算する。 追加の長期コンテキストおよび長期ドキュメントタスクの結果は、有界検索の利点と窓内圧縮税の両方を露呈する。
• 参考スコア（独自算出の注目度）: 10.87539145067331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer depth is not used uniformly: lower and middle layers build semantic representations, while upper layers increasingly specialize them for prediction. We turn this division of labor into CoMem (Comprehension Memory), which writes each context chunk only through an intermediate layer, retrieves a fixed number of cached residual states, and recomputes the query-conditioned upper layers over the resulting pack. For a fixed retrieval budget, model-side read compute and memory are independent of stored-context length. We evaluate a continued-trained Qwen3-8B base LM under a unified chat-template-free protocol. The backbone is frozen; the flagship trains only a rank-32 self-distillation LoRA on plain PG19, and we report an adapter-free arm separately. CoMem reaches 97.05 on RULER and 38.27 on LoCoMo versus 34.59 for full-context KV-Direct; the dialogue-memory advantage survives conversation-cluster resampling and an independent judge. Results on additional long-context and long-document tasks expose both the benefits of bounded retrieval and its in-window compression tax. Controlled depth sweeps show that deeper caching lowers per-query recomputation but incurs a fidelity loss that self-distillation substantially repairs. In a separate adapter-free efficiency control on an NVIDIA H20 at 128k, CoMem uses 18.26 GB rather than 89.36 GB and achieves a 7.83x prefill speedup. These results show that long-context memory can be organized along the layer axis, not only the token axis.
• Abstract（参考訳）: 下層と中層はセマンティック表現を構築し、上層は予測に特化している。 私たちはこの作業の分割をCoMem(Comprehension Memory)に変換し、それぞれのコンテキストチャンクを中間層でのみ書き込み、一定の数のキャッシュ状態を取得し、結果のパック上でクエリ条件付き上位層を再計算します。 固定された検索予算では、モデル側読み取り計算とメモリは格納コンテキスト長とは独立している。 Qwen3-8BベースLMを統合型チャットテンプレートフリープロトコルで評価する。 背骨は凍結しており、旗艦列車はPG19に32ランクの自己蒸留式LoRAのみであり、アダプタフリーのアームを別々に報告する。 CoMemはRULERで97.05、LoCoMoで38.27、フルコンテキストのKV-Directで34.59に達する。 追加の長期コンテキストおよび長期ドキュメントタスクの結果は、有界検索の利点と窓内圧縮税の両方を露呈する。 制御されたディープ・スイープは、より深いキャッシュがクエリ毎の再計算を低下させるが、自己蒸留が実質的に修復する忠実な損失を引き起こすことを示している。 NVIDIA H20の128kでのアダプタレス効率制御では、CoMemは89.36GBではなく18.26GBを使用し、7.83倍のプリフィルスピードアップを実現している。 これらの結果から,長コンテキストメモリはトークン軸だけでなく,層軸に沿って構成可能であることがわかった。

関連論文リスト

• RedKnot-MLA: Multi-Head Offline-Online Reuse for DeepSeek-V4 Long-Context Serving [30.406836978404403]
  マルチヘッド潜時注意(MLA)は、複数の論理的クエリヘッドを1つの満載の潜時KVストリームを通じて公開する。 我々はRedKnotのヘッドアウェア再利用原理をDeepSeek-V4で実現したシステムを提案する。
  論文  参考訳（メタデータ） (2026-09-07T03:59:33Z)
• Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
  本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。 統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。 これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
  論文  参考訳（メタデータ） (2026-08-15T03:29:48Z)
• RippleMem: From Isolated Retrieval to Associative Recollection for Long-Term Agent Memory [13.519130680921565]
  本稿では,長期記憶システムであるRippleMemを紹介する。 LoCoMoとLongMemEval-Sは、RippleMemが評価された設定全体で最高の全体的なパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-08-13T15:05:01Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents [1.0742675209112622]
  4つの研究コミュニティがそれぞれ,大規模言語メモリのコンパクト化を学んでいることを示す。 我々は、これらが1つの問題の例であると主張する。 このレンズを1つのコンパクト化目標と層に依存しない下界で正確にし、スタック全体からメソッドを一様に分類する7軸分類法を構築するために使用する。
  論文  参考訳（メタデータ） (2026-07-09T01:15:03Z)
• A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets [14.349344554516259]
  HOLA(Hippocampal Linear Attention)は、通常のデルタルール状態を圧縮メモリとして保持し、正確なKVキャッシュを追加する。 15B SlimPajamaトークンでトレーニングされた340万のパラメータで、HOLAはWikitextのパープレキシティを27.32から22.92(-16.1%)に下げる。 また、最高のリニアインコンテキスト検索を実現し、GDNやRULERのニードル・イン・ア・ヘイスタック上のHOLA+リカレンシキャッシュよりもずっと堅牢であり、32kトークン(トレーニング長の16倍)にリコールされる。
  論文  参考訳（メタデータ） (2026-07-02T15:19:49Z)
• CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents [22.037336472678774]
  CoreMemはリソース効率のよいエッジクラウドメモリアーキテクチャであり、情報幾何学によって根本的に統一されている。 厳格な8GBのVRAM予算内でシームレスに動作し、リソース制約のあるエッジデバイスと理論上は根拠のない、寿命の長いメモリエージェントとのギャップを埋めることに成功した。
  論文  参考訳（メタデータ） (2026-06-16T18:56:23Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents [0.7977229957867867]
  大規模言語モデル(LLM)エージェントは、膨大な量の情報を蓄積する。 本稿では,キーワード付きハイブリッドアクティベーションを組み合わせたメモリ保持フレームワークCAMeRを提案する。 CAMeR-Benchでは、CAMeRのキーワードゲートは、高周波と非参照メモリの間の保持ギャップが1.6$times$大きい。
  論文  参考訳（メタデータ） (2026-05-15T01:38:30Z)
• A Survey of Spatial Memory Representations for Efficient Robot Navigation [4.560386676154887]
  52のシステムにまたがる88の参照の空間記憶効率の問題を調査した。 M_textpeak / M_textmap$は、ピーク時メモリ(操作中に消費される全RAMまたはGPUメモリ)と保存されたマップサイズとの比率である。
  論文  参考訳（メタデータ） (2026-04-13T02:12:17Z)
• LightThinker++: From Reasoning Compression to Memory Management [61.2260619973687]
  大きな言語モデル(LLM)は複雑な推論において優れているが、その効率は長い思考トレースの認知的オーバーヘッドの増加によって制限される。 LLMが動的に中間的思考をコンパクトな意味表現に圧縮できる方法であるLightThinkerを提案する。 私たちはフレームワークをLightThinker++に進化させ、Explicit Adaptive Memory Managementを導入しました。
  論文  参考訳（メタデータ） (2026-04-04T10:46:09Z)
• MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models [72.61076288351201]
  メモリ効率の良いオフロードミニシーケンス推論(MOM)を提案する。 MOMは重要なレイヤを小さな“ミニシーケンス”に分割し、KVキャッシュのオフロードとシームレスに統合する。 Meta-Llama-3.2-8Bでは、単一のA100 80GB GPU上での最大コンテキスト長を155kから455kに拡張する。
  論文  参考訳（メタデータ） (2025-04-16T23:15:09Z)
• HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading [79.38548165722229]
  HEADINFERはKVキャッシュをCPURAMにオフロードするが、GPU上のトランスフォーマー層のKVキャッシュを完全に保存する必要はない。 HEADINFERはメモリフットプリントを大幅に削減し,計算効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-18T06:26:05Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。