論文の概要: The Surprising Effectiveness of Shared Memory in Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.02383v1
• Date: Thu, 01 Oct 2026 19:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.054048
• Title: The Surprising Effectiveness of Shared Memory in Looped Transformers
• Title（参考訳）: ループ型変圧器における共有メモリのサプライズ効果
• Abstract要約: 推論時間技術は、品質の犠牲でメモリを縮小することができる。 メモリ共有は品質を犠牲にせず、代わりに改善します。
• 参考スコア（独自算出の注目度）: 23.236901835820614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Transformers apply the same layers several times per token, adding compute to improve quality without more parameters. Each recursion, however, writes its own key-value cache, so memory still grows with compute. Inference-time techniques can shrink this cache at a cost in quality. We pretrain looped language models to share memory: only the first recursion writes a cache, and later recursions read it while keeping a short window of their own. Surprisingly, we find that sharing memory does not cost quality and instead improves it. At 150M-1B parameters, our Looped Prediction Transformer (LPT) and its hybrid variant set a new quality-memory frontier for looped models: with five recursions, the hybrid lowers validation perplexity on FineWeb-Edu by 1.12-1.82 relative to a same-size standard Transformer while using 76-79% less context memory. Through an extensive analysis, we investigate why memory sharing helps. Shared and local memory develop different representations, and later recursions attend mostly to the shared memory, which also acts as a gradient highway to the first recursion.
• Abstract（参考訳）: Looped Transformerはトークン毎に同じレイヤを数回適用し、パラメータを増やすことなく、品質を改善するために計算を追加する。 しかし、それぞれの再帰は独自のキー-値キャッシュを記述するため、メモリは計算によって成長する。 推論時のテクニックは、このキャッシュを品質の犠牲で縮小することができる。 最初の再帰だけがキャッシュを書き、後で再帰はそれを読み取り、短いウィンドウを自分自身で保持します。 驚いたことに、メモリの共有は品質を犠牲にせず、代わりに改善する。 150M-1Bパラメータでは、我々のLooped Prediction Transformer(LPT)とそのハイブリッドモデルがループモデルの新たな品質メモリフロンティアを設定した。 広範な分析を通じて,メモリ共有がなぜ役立つのかを考察する。 共有メモリとローカルメモリは異なる表現を発達させ、後に再帰は共有メモリに付随するようになり、これは最初の再帰への勾配ハイウェイとしても機能する。

関連論文リスト

• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
  Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• Recurrent Memory Transformer [0.3529736140137003]
  メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。 入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。 我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
  論文  参考訳（メタデータ） (2022-07-14T13:00:22Z)
• Transformer with Memory Replay [13.478839407623978]
  変換器は,大規模テキストコーパスの事前学習により,自然言語処理タスクの最先端性能を実現する。 メモリリプレイは、メモリバッファからの保存と再生によって過去の例を記憶し再利用するメカニズムである。 本稿では, メモリリプレイとトランスフォーマを統合したEmphTransformer with Memory Replay (TMR)を提案する。
  論文  参考訳（メタデータ） (2022-05-19T21:27:36Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。