論文の概要: Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models

• arxiv url: http://arxiv.org/abs/2605.07721v1
• Date: Fri, 08 May 2026 13:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.069815
• Title: Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
• Title（参考訳）: メモリ効率の良いループ変換器:ループ言語モデルにおけるメモリから計算を分離する
• Authors: Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, Jordi Ros-Giralt, Arash Behboodi, Fabio Valerio Massoli,
• Abstract要約: メモリ効率のよいループ変換器(MELT)は、メモリ消費から奥行きを分離する新しいアーキテクチャである。 この結果から,MELTはLoopLM性能を犠牲にすることなく,定数メモリ反復推論を実現することを示す。
• 参考スコア（独自算出の注目度）: 8.430043498727617
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recurrent LLM architectures have emerged as a promising approach for improving reasoning, as they enable multi-step computation in the embedding space without generating intermediate tokens. Models such as Ouro perform reasoning by iteratively updating internal representations while retaining a standard Key-Value (KV) cache across iterations, causing memory consumption to grow linearly with reasoning depth. Consequently, increasing the number of reasoning iterations can lead to prohibitive memory usage, limiting the practical scalability of such architectures. In this work, we propose Memory-Efficient Looped Transformer (MELT), a novel architecture that decouples reasoning depth from memory consumption. Instead of using a standard KV cache per layer and loop, MELT maintains a single KV cache per layer that is shared across reasoning loops. This cache is updated over time via a learnable gating mechanism. To enable stable and efficient training under this architecture, we propose to train MELT using chunk-wise training in a two phase procedure: interpolated transition, followed by attention-aligned distillation, both from the LoopLM starting model to MELT. Empirically, we show that MELT models fine-tuned from pretrained Ouro parameters outperform standard LLMs of comparable size, while maintaining a memory footprint comparable to those models and dramatically smaller than Ouro's. Overall, MELT achieves constant-memory iterative reasoning without sacrificing LoopLM performance, using only a lightweight post-training procedure.
• Abstract（参考訳）: リカレントLLMアーキテクチャは、中間トークンを生成することなく、埋め込み空間でのマルチステップ計算を可能にするため、推論を改善するための有望なアプローチとして現れてきた。 Ouroのようなモデルでは、内部表現を反復的に更新すると同時に、標準キーバリュー(KV)キャッシュを反復的に保持することで推論を行い、推論の深さとともにメモリ消費が線形に増加する。 その結果、推論の反復数が増加すると、メモリ使用が禁止され、そのようなアーキテクチャの実用的スケーラビリティが制限される。 本研究では,メモリ消費から奥行きを分離する新しいアーキテクチャである,メモリ効率の高いループ変換器(MELT)を提案する。 レイヤ毎の標準KVキャッシュを使用する代わりに、MELTは、推論ループ間で共有される、レイヤ毎の単一のKVキャッシュを維持している。 このキャッシュは学習可能なゲーティング機構を通じて時間とともに更新される。 本アーキテクチャ下での安定かつ効率的なトレーニングを実現するため,我々は,2段階のプロセスである補間遷移と,LoopLM開始モデルからMELTへの注視整合蒸留を併用したチャンクワイズトレーニングによるMELT訓練を提案する。 実験により,事前学習したOuroパラメータから調整したMELTモデルは,それらのモデルに匹敵するメモリフットプリントを維持しつつ,Ouroよりも大幅に小さく,標準LLMよりも優れた性能を示した。 全体として、MELTはLoopLM性能を犠牲にすることなく、軽量なポストトレーニング手順のみを使用して、メモリの反復推論を実現する。

関連論文リスト

• Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models [3.740517574718329]
  本稿では,垂直チャンクサイズを超えると入力長が一定になるメモリ使用量で高速な埋め込み生成を可能にする縦チャンク推論戦略を提案する。 Mamba2モデルを微調整することにより、汎用テキスト埋め込みとしての有効性を実証する。 Mamba2、RWKV、xLSTMモデルへの推論戦略の適用性を実証的に検証し、アーキテクチャ間の一貫したランタイムメモリトレードオフを確認する。
  論文  参考訳（メタデータ） (2026-04-20T12:50:15Z)
• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• Adaptive Loops and Memory in Transformers: Think Harder or Know More? [2.141762982579701]
  思考の連鎖は言語モデルにおける推論を可能にするが、中間段階の明示的な言語化を必要とする。 ループ変換器は、隠された状態内の表現を反復的に精製する代替手段を提供する。 適応型層間ループとゲート型メモリバンクの両方を特徴とするトランスモデルについて検討する。
  論文  参考訳（メタデータ） (2026-03-09T13:49:03Z)
• EdgeInfinite: A Memory-Efficient Infinite-Context Transformer for Edge Devices [3.739419555718102]
  トランスフォーマーベースの大規模言語モデル(LLM)は、エッジデバイスで長いシーケンスを処理する際の課題に直面する。 We present EdgeInfinite, a memory- efficient solution for infinite contexts that integrateds compressed memory into Transformer-based LLMs。
  論文  参考訳（メタデータ） (2025-03-28T07:26:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。