Fugu-MT 論文翻訳(概要): Extending LLM Context via Associative Recurrent Memory

論文の概要: Extending LLM Context via Associative Recurrent Memory

arxiv url: http://arxiv.org/abs/2607.11614v1
Date: Mon, 13 Jul 2026 14:37:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.504577
Title: Extending LLM Context via Associative Recurrent Memory
Title（参考訳）: 連想リカレントメモリによるLLMコンテキストの拡張
Abstract要約: 大規模言語モデル(LLM)における長文処理を実現するための実践的アプローチとして,Associative Recurrent Memory Transformer (ARMT) について検討する。第2に,ARMTを用いたコンテキスト拡張のための総合的学習手法を提案し,継続した事前学習,合成長コンテキストデータ生成,カリキュラム学習,選択したモデル層への連想記憶の選択的統合について検討した。第3に,ARMTによる拡張モデル: (i) プロセス入力が,限界内ベースラインに対して性能を低下させることなく,元のコンテキスト限界をはるかに越えること, (ii) より効果的に一般化できることを実証した広範な実験結果を示す。
参考スコア（独自算出の注目度）: 31.93460198288273
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Extending the context length of large language models (LLMs) is critical for many real-world applications, yet standard transformers remain constrained by quadratic compute and linear memory scaling. In this work, we investigate the Associative Recurrent Memory Transformer (ARMT) as a practical approach for enabling long-context processing in LLMs, constant memory scaling, and better efficiency. We make three main contributions. First, we construct two domain-specific long-context datasets designed to evaluate realistic workloads, focusing on narrow-domain fine-tuning scenarios. Second, we propose a comprehensive training recipe for ARMT-based context extension, combining continued pre-training, synthetic long-context data generation, curriculum learning, and selective integration of associative memory into chosen model layers. Third, we present an extensive experimental study demonstrating that ARMT-augmented models: (i) process inputs well beyond their original context limits without degrading performance relative to in-limit baselines; (ii) generalize more effectively to out-of-distribution context lengths; and (iii) need 30% less FLOPs while preserving baseline performance within the original context window.
Abstract（参考訳）: 大規模言語モデル(LLM)のコンテキスト長を拡張することは、多くの実世界のアプリケーションにとって重要であるが、標準的なトランスフォーマーは2次計算と線形メモリスケーリングによって制約される。本研究では,LLMにおける長文処理の実現,メモリスケーリングの一定化,効率向上のための実用的なアプローチとして,Associative Recurrent Memory Transformer (ARMT) について検討する。主な貢献は3つある。まず、現実的なワークロードを評価するために設計された2つのドメイン固有長コンテキストデータセットを構築し、狭いドメインの微調整シナリオに焦点をあてる。第2に,ARMTを用いたコンテキスト拡張のための総合的学習手法を提案し,継続した事前学習,合成長コンテキストデータ生成,カリキュラム学習,選択したモデル層への連想記憶の選択的統合について検討した。第3に、ARMTが強化されたモデルを示す広範な実験結果を示す。 i) プロセス入力は,内部ベースラインに対する性能を低下させることなく,元のコンテキスト限界をはるかに越える。 (二)より効果的に分布外文脈の長さを一般化すること、及び (iii)元のコンテキストウィンドウ内でのベースラインのパフォーマンスを維持しながら、FLOPを30%削減する必要があります。

関連論文リスト

SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2026-01-05T21:02:49Z)
Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文参考訳（メタデータ） (2026-01-05T08:24:16Z)
Reversing Large Language Models for Efficient Training and Fine-Tuning [24.232966507637673]
大きな言語モデル(LLM)は、高価で時間を要する訓練で知られている。対称およびシンプレクティック微分方程式に着想を得たLLMのメモリ効率・可逆的アーキテクチャを提案する。その結果、いくつかのデータセットとベンチマークで同等または改善されたパフォーマンスを示しました。
論文参考訳（メタデータ） (2025-11-27T19:32:15Z)
LLM-MemCluster: Empowering Large Language Models with Dynamic Memory for Text Clustering [52.41664454251679]
大規模言語モデル(LLM)は、テキストクラスタリングを行う前例のない能力を提供することで、教師なしの学習を再構築している。既存のメソッドは、しばしば外部モジュールを持つ複雑なパイプラインに依存し、真にエンドツーエンドのアプローチを犠牲にする。 LLM-MemClusterは,クラスタリングをLLMネイティブタスクとして再認識する新しいフレームワークである。
論文参考訳（メタデータ） (2025-11-19T13:22:08Z)
Language Modeling With Factorization Memory [1.9538130634206368]
本稿では,短時間の言語モデリングタスクにおけるTransformerモデルに匹敵する性能を実現する,効率的なリカレントニューラルネットワーク(RNN)アーキテクチャであるFacterization Memoryを提案する。本研究では,各ステップにおける逐次状態のサブセットのみを更新し,その高密度な状態の強い性能を保ったFacterization Memoryのスパース定式化を開発する。
論文参考訳（メタデータ） (2025-10-31T23:27:11Z)
Experience Scaling: Post-Deployment Evolution For Large Language Models [44.48142891798125]
大規模言語モデル(LLM)の継続的デプロイ後進化のためのフレームワークであるエクスペリエンススケーリングを提案する。このフレームワークは,以前には見つからなかったが関連するタスク,繰り返しクエリ,過飽和知識ストアへの一般化を含む実世界のシナリオで検証される。その結果、構造化されたデプロイ後学習は、静的な人間生成データの限界を超えてLLM能力を拡張できることを示した。
論文参考訳（メタデータ） (2025-09-23T08:04:58Z)
Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
論文参考訳（メタデータ） (2025-06-01T23:49:14Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文参考訳（メタデータ） (2024-04-16T06:34:08Z)
CAMELoT: Towards Large Language Models with Training-Free Consolidated Associative Memory [38.429707659685974]
大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。 CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-21T01:00:17Z)
UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
論文参考訳（メタデータ） (2023-08-28T05:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。