論文の概要: MoNe: Modular Neural Memory for Efficient Long Context Inference

• arxiv url: http://arxiv.org/abs/2608.17616v1
• Date: Tue, 18 Aug 2026 10:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.305307
• Title: MoNe: Modular Neural Memory for Efficient Long Context Inference
• Title（参考訳）: MoNe: 効率的なロングコンテキスト推論のためのモジュール型ニューラルメモリ
• Abstract要約: MoNeは軽量なモジュラー・ニューラルメモリで、凍結した事前訓練されたトランスフォーマーに接続する。 MoNeは、高速なニューラルネットワークのテスト時間学習を通じて、固定サイズのセグメントでコンテキストを読み取る。 MoNeはクエリトークンだけでキーと値を生成します。
• 参考スコア（独自算出の注目度）: 23.94676543840457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MoNe, a lightweight modular neural memory that attaches to any frozen pretrained Transformer to enable long-context inference without retraining. MoNe reads context in fixed-size segments via test-time learning of fast-weight neural memory networks with layer-localized gradient updates; at inference, the memory generates keys and values from the query tokens alone, with no context tokens re-read. This two-phase design decouples inference cost from context length, achieving $O(N)$ preprocessing and $O(1)$ query cost with peak GPU memory that does not grow with $N$. At 128K tokens, MoNe reduces both compute and peak GPU memory by approximately 80% compared to ICL with only 6.4% parameter overhead. MoNe generalizes to context lengths far beyond the backbone's native window, achieving strong performance on needle-in-a-haystack and word extraction benchmarks from RULER, where ICL degrades sharply.
• Abstract（参考訳）: フリーズされた任意のトランスフォーマーにアタッチされる軽量なモジュール型ニューラルメモリであるMoNeを,リトレーニングせずに長文推論を可能にする。 MoNeは、レイヤローカライズされた勾配更新を備えた高速なニューラルネットワークのテストタイム学習を通じて、固定サイズのセグメントでコンテキストを読み取る。 この2フェーズの設計は、コンテキスト長から推論コストを分離し、$O(N)$プレプロセッシングと$O(1)$クエリコストをピークGPUメモリで達成し、$N$で成長しない。 128Kのトークンで、MoNeは計算とピークの両方のGPUメモリを6.4%のオーバーヘッドしか持たないICLと比較して約80%削減する。 MoNeは、バックボーンのネイティブウィンドウよりもはるかに長いコンテキストを一般化し、RULERのニードル・イン・ア・ヘイスタックとワード抽出ベンチマークで強力なパフォーマンスを実現している。

関連論文リスト

• Maglev: Sliding Recurrent Memory [8.788753986099902]
  我々のアーキテクチャは、スライディングウインドウの注意を一般化する固定サイズのメモリを備えたリカレントトランスフォーマーアーキテクチャである。 私たちは、$m_t$と$m'_t$を一致させるメモリ一貫性の損失でトレーニングします。
  論文  参考訳（メタデータ） (2026-08-03T20:40:49Z)
• DMF: A Deterministic Memory Framework for Conversational AI Agents [0.0]
  我々は、生成メモリ圧縮を完全な決定論的パイプラインに置き換えるCPUファーストアプローチである決定論的メモリフレームワーク(DMF)を提案する。 DMFは、決定論的コンテンツ信号、会話の手がかり、構造化された前兆から計算されたSurvival Scoreを、ロジスティック・プロジェクションで組み合わせて割り当てる。 LoCoMoとLongMemEvalのデータセットを使用して、目的を組み込んだベンチマークで実験を行う。
  論文  参考訳（メタデータ） (2026-06-02T10:41:28Z)
• Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
  本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。 このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。 ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
  論文  参考訳（メタデータ） (2026-02-09T08:33:11Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models [4.951427498576812]
  ILRe(Intermediate Layer Retrieval)と呼ばれる新しいコンテキスト圧縮パイプラインを導入する。 ILReは、チャンクされたプリフィルをその層にだけストリーミングすることでコンテキストをエンコードし、入力クエリと指定された層のフルキーキャッシュの間のアテンションスコアによってトークンをリコールする。 追加のポストトレーニングやオペレータ開発がなければ、ILReは100万ドルのトークン要求を30分以内で処理できる。
  論文  参考訳（メタデータ） (2025-08-25T10:59:02Z)
• Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
  我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
  論文  参考訳（メタデータ） (2024-11-13T20:30:15Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。