論文の概要: Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules

• arxiv url: http://arxiv.org/abs/2610.19210v1
• Date: Tue, 13 Oct 2026 21:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.812687
• Title: Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules
• Title（参考訳）: Titan-Llama: 外部記憶モジュールによるトレーニング済みLLMの再適合
• Abstract要約: 階層型メモリアーキテクチャを用いた注目型言語モデルの再適合のためのポストトレーニング手法であるTitan-Llamaを紹介する。 我々の定式化により、スクラッチから新しい言語モデルをトレーニングすることなく、事前訓練された注意層を置き換えることができます。 推論ベンチマークでは、プリフィルが20%以上速く、37%が中規模でデコードし、24%が定常状態のデコードメモリ使用率を下げている。
• 参考スコア（独自算出の注目度）: 11.74157348490598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are efficient to pre-train at scale because attention permits parallel computation across sequence positions, but long-context inference requires increasingly large KV caches. Efficient recurrent alternatives reduce the asymptotic complexity of inference, but their sequential dependence limits token-wise parallelism during training, making them harder to scale. Further, the current paradigm of extending long context tasks creates competing notions of retaining information precisely and keeping long-context inference efficient. To address this gap, we introduce Titan-Llama, a post-training method for retrofitting attention-based language models with a hierarchical memory architecture that updates parameters at test-time. Titan-Llama applies a blockwise attention mask and preserves full-fidelity attention over recent tokens while compressing historical context into recurrent, fixed-size neural memory modules (NMMs). Our formulation allows pre-trained attention layers to be replaced without training a new language model from scratch. On Llama-3.2-1B-Instruct, Titan-Llama raises accuracy over segmented attention windows from 23.87\% to 40.51\% on QuALITY and from 14.50\% to 40.75\% on LongHealth. Inference benchmarks show more than 20\% faster prefill, 37\% faster decode at medium context lengths, and 24\% lower steady-state decode memory usage in the evaluated configurations. Together, these results demonstrate that incorporating memory architecture mechanisms that utilize test-time training effectively modulates long-context behavior of pre-trained models, offering a practical route to adapting pre-trained transformers for efficient long-context inference. Our code is released on Github \href{https://github.com/sarahpannn/titans-pytorch/tree/main}{GitHub}
• Abstract（参考訳）: トランスフォーマーは、列位置間の並列計算を可能にするため、大規模に事前トレーニングするのが効率的であるが、長いコンテキスト推論では、より大規模なKVキャッシュが必要になる。 効率的なリカレントな代替手段は推論の漸近的な複雑さを減少させるが、その逐次的依存は訓練中にトークンワイドの並列性を制限し、スケールしにくくする。 さらに、長いコンテキストタスクを拡張する現在のパラダイムは、情報を正確に保持し、長いコンテキストの推論を効率的に保つという競合する概念を生み出している。 このギャップに対処するために,テスト時にパラメータを更新する階層型メモリアーキテクチャを用いて,注目に基づく言語モデルを再構成するポストトレーニング手法であるTitan-Llamaを導入する。 タイタン・ラマはブロックワイズ・アテンション・マスクを施し、最近のトークンに対する完全な注意を保ちながら、歴史的コンテキストを繰り返し、固定サイズのニューラルメモリモジュール(NMM)に圧縮する。 我々の定式化により、スクラッチから新しい言語モデルをトレーニングすることなく、事前訓練された注意層を置き換えることができます。 Llama-3.2-1B-Instructでは、Titan-LlamaはQuALITYでは23.87\%から40.51\%、LongHealthでは14.50\%から40.75\%に精度を上げる。 推論ベンチマークでは、評価された構成において、20倍以上の高速プリフィル、37倍の高速デコード、24倍の低定常デコードメモリ使用率を示す。 これらの結果から,テストタイムトレーニングを利用するメモリアーキテクチャ機構を組み込むことで,事前学習したモデルの長期コンテキストの挙動を効果的に調整できることが示唆された。 私たちのコードはGithub \href{https://github.com/sarahpannn/titans-pytorch/tree/main}{GitHub} でリリースされています。

関連論文リスト

• Efficient Sparse Selective-Update RNNs for Long-Range Sequence Modeling [16.27516369166629]
  Selective-Update RNN(suRNN)は、入力が冗長であるときにメモリを保存することを学習する非線形アーキテクチャである。 情報イベントのみをオープンするニューロンレベルのバイナリスイッチを使用することで、SuRNNは、繰り返し更新を生のシーケンス長から切り離す。 Long Range Arena、WikiText、その他の総合ベンチマークの実験では、SuRNNはより複雑なモデルの精度と一致するか、超えるかを示している。
  論文  参考訳（メタデータ） (2026-02-11T14:50:07Z)
• From Projection to Prediction: Beyond Logits for Scalable Language Models [0.28647133890966986]
  大規模言語モデル(LLM)のトレーニングは通常、出力層で2段階のパイプラインを伴います。 隠れ状態とターゲットトークンの損失を直接計算することにより、当社のアプローチは明示的なロジットの実体化をバイパスする。
  論文  参考訳（メタデータ） (2025-11-18T02:23:47Z)
• TNT: Improving Chunkwise Training for Test-Time Memorization [62.78875147721906]
  タイタンスやTTTのような深いテストタイム記憶モジュールを持つリカレントニューラルネットワーク(RNN)は、トランスフォーマーとは異なる有望で線形にスケールするパラダイムである。 TNTは,2段階のプロセスを通じて,推論性能からトレーニング効率を分離する,新たなトレーニングパラダイムである。 TNTはトレーニング速度を最も正確なベースライン構成の17倍に高速化する。
  論文  参考訳（メタデータ） (2025-11-10T17:45:09Z)
• Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
  textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。 textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。 SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
  論文  参考訳（メタデータ） (2025-05-22T14:11:34Z)
• Titans: Learning to Memorize at Test Time [20.12643072017223]
  歴史的文脈を記憶するために学習するニューラルな長期記憶モジュールを提案する。 このニューラルメモリは高速な推論を維持しつつ、高速な並列化可能なトレーニングの利点があることが示される。 我々は、Titansと呼ばれる新しいアーキテクチャのファミリーを紹介し、このアーキテクチャにメモリを効果的に組み込む方法に対処する3つのバリエーションを提示します。
  論文  参考訳（メタデータ） (2024-12-31T22:32:03Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.05657299071648]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models [0.0]
  分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。 本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T19:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。