論文の概要: LT2: Linear-Time Looped Transformers

• arxiv url: http://arxiv.org/abs/2605.20670v2
• Date: Fri, 22 May 2026 21:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 16:32:37.847719
• Title: LT2: Linear-Time Looped Transformers
• Title（参考訳）: LT2: 線形時間ループ変換器
• Abstract要約: 本稿では,2次ソフトマックスアテンションを4次線形アテンションに置き換えるループ型アーキテクチャであるLT2を紹介する。 制御されたリコール、状態追跡、言語モデリングタスクにおいて、一貫した経験的ゲインを示す。 2つの変種は特に有望である: LT2-hybrid (GDN+DSA) は、線形および疎注意をインターリーブし、効率を最大化し、標準ループ変換器の品質を完全な線形時間で一致させる。
• 参考スコア（独自算出の注目度）: 24.49487079056893
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Looped Transformers (LT) have emerged as a powerful architecture by iterating their layers multiple times before decoding the final token. However, pairing them with full attention retains quadratic complexity, making them computationally expensive and slow. We introduce LT2 (Linear-Time Looped Transformers), a family of looped architectures that replace quadratic softmax attention with subquadratic, linear-time attention. We study two variants: LT2-linear with linear attention and LT2-sparse with sparse attention. We find that looping uniquely synergizes with these variants: it enables iterative memory refinement in linear attention and progressively expands the effective receptive field in sparse attention. We formalize these benefits theoretically and demonstrate consistent empirical gains across controlled recall, state-tracking, and language modeling tasks. We then explore LT2-hybrid, which combines different attention variants in a looped setting. Two variants are especially promising: LT2-hybrid (GDN+DSA), which interleaves linear and sparse attention to maximize efficiency and matches the standard looped transformer's quality at fully linear-time cost; and LT2-hybrid (Full+GDN), which interleaves GDN with a small fraction of full attention layers to maximize quality, surpassing the standard looped transformer in both performance and efficiency. We also show how to convert a pre-trained LT into an LT2-hybrid model. With about 1B tokens of training, our converted model, Ouro-hybrid-1.4B, outperforms industry-level 1B models and is competitive with industry-level 4B models while retaining the speed benefits of linear-time attention. Together, these results show a clear path toward making looped transformers more scalable and advancing efficient, capable small language models.
• Abstract（参考訳）: Looped Transformer (LT) は,最後のトークンを復号する前にレイヤを複数回繰り返すことで,強力なアーキテクチャとして登場した。 しかし、それらと完全な注意を合わせると二次的な複雑さを保ち、計算的に高価で遅くなる。 本稿では,2次ソフトマックスアテンションを4次線形時間アテンションに置き換えるループアーキテクチャのファミリであるLT2(Linear-Time Looped Transformers)を紹介する。 線形注意を持つLT2-linearと疎注意を持つLT2-sparseの2種類について検討した。 ループはリニアアテンションにおいて反復的なメモリリファインメントを可能にし、スパースアテンションにおいて効果的な受容野を徐々に拡張する。 我々はこれらの利点を理論的に定式化し、制御されたリコール、状態追跡、言語モデリングタスク間で一貫した経験的利益を示す。 次に、ループ設定で異なる注意変動を組み合わせたLT2-hybridを探索する。 2つの変種は特に有望である: LT2-hybrid (GDN+DSA) は線形および疎い注意を引いて効率を最大化し、標準ループ変換器の品質を完全な線形時間で一致させる。 また、事前学習したLTをLT2ハイブリッドモデルに変換する方法を示す。 約1Bのトレーニングトークンを用いて、変換されたモデルであるOuro-hybrid-1.4Bは、業界レベルの1Bモデルより優れており、リニアタイムアテンションの速度メリットを維持しながら、業界レベルの4Bモデルと競合する。 これらの結果から,ループ型トランスフォーマーをよりスケーラブルで,効率よく,能力の高い小型言語モデルを実現するための明確な道筋が示される。

関連論文リスト

• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
  大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。 ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。 ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
  論文  参考訳（メタデータ） (2025-10-28T15:35:50Z)
• Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale [68.6602625868888]
  本稿では,2つの簡単な観測に基づいて,畳み込み型マルチハイブリッドアーキテクチャを提案する。 ハイブリッドモデルのオペレータは、インコンテキストリコール、マルチトークンリコール、圧縮などのトークン操作タスクにカスタマイズできる。 我々は、最適化されたトランスフォーマーの1.2倍から2.9倍、以前の世代のハイブリッドの1.1倍から1.4倍の速さでエンドツーエンドを訓練する。
  論文  参考訳（メタデータ） (2025-02-25T19:47:20Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Parallelizing Linear Transformers with the Delta Rule over Sequence Length [49.88826673324244]
  この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-10T17:24:42Z)
• Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
  本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。 次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。 変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
  論文  参考訳（メタデータ） (2023-12-11T18:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。