論文の概要: Asymmetric Looped Transformers: Fixed Global Representations for an Iterative Decoder

• arxiv url: http://arxiv.org/abs/2610.28489v1
• Date: Tue, 20 Oct 2026 16:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.922375
• Title: Asymmetric Looped Transformers: Fixed Global Representations for an Iterative Decoder
• Title（参考訳）: 非対称ループ変換器:反復デコーダに対する固定大域的表現
• Abstract要約: AsymLoop (Asymmetric Looped Transformer) を導入し, コンテクストエンコーディングとリカレントステートリファインメントを分離する。 AsymLoopは7つのコモンセンス推論ベンチマークの平均ゼロショット精度を49.58%から50.85%に改善している。
• 参考スコア（独自算出の注目度）: 43.61337405456846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers increase effective depth by repeatedly applying shared layers, offering a way to scale computation without increasing parameter count. However, full-stack looping places context construction and iterative state refinement within the same recurrent computation, without explicitly distinguishing their roles. We introduce the Asymmetric Looped Transformer (AsymLoop), which separates single-pass context encoding from recurrent state refinement. A single-pass causal encoder produces layer-specific Global key-value (KV) caches that remain fixed across iterations, while a weight-tied recurrent decoder generates Local KV from its evolving state. Joint attention over both sources under a single softmax allows each update to integrate persistent contextual information with the current intermediate state. For training, we apply a heavy-tail-guided layerwise learning-rate method to the encoder and decoder. Experiments on FineWeb-Edu across four model scales, from 60M to 1B, show consistently lower validation perplexity and higher average downstream accuracy than Full Loop under matched effective depth and training token budgets. At 1B, AsymLoop improves average zero-shot accuracy across seven commonsense reasoning benchmarks from 49.58% to 50.85%. Further experiments extend these benefits to longer training budgets, an OLMo-style backbone, and sparse mixture-of-experts models. These results support asymmetric context encoding and state refinement as an effective design for recurrent language models.
• Abstract（参考訳）: ループ変換器は共有層を何度も適用することで効果的な深さを増大させ、パラメータ数を増やすことなく計算をスケールする方法を提供する。 しかし、フルスタックループは、コンテキスト構築と反復的な状態改善を、その役割を明確に区別することなく、同じ繰り返し計算内で行う。 AsymLoop (Asymmetric Looped Transformer) を導入し, コンテクストエンコーディングとリカレントステートリファインメントを分離する。 シングルパス因果エンコーダはレイヤー固有のグローバルキー値(KV)キャッシュを生成し、重み付けされたリカレントデコーダはその進化状態からローカルKVを生成する。 単一のソフトマックスの下で両方のソースに共同で注目することで、各更新は永続的なコンテキスト情報を現在の中間状態と統合することができる。 トレーニングでは,エンコーダとデコーダにヘビーテール誘導層学習率法を適用した。 FineWeb-Eduの実験は、60Mから1Bの4つのモデルスケールで行われ、有効深度とトレーニングトークンの予算の下でのFull Loopよりも、検証の難易度と平均下流の精度が一貫して低い。 1Bでは、AsymLoopは7つのコモンセンス推論ベンチマークの平均ゼロショット精度を49.58%から50.85%に改善した。 さらなる実験により、これらの利点は、より長いトレーニング予算、OLMoスタイルのバックボーン、未成熟の試験用混合モデルにまで拡張される。 これらの結果は、逐次言語モデルのための効果的な設計として、非対称な文脈符号化と状態改善をサポートする。

関連論文リスト

• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• AbbIE: Autoregressive Block-Based Iterative Encoder for Efficient Sequence Modeling [43.69519440553312]
  自己回帰的ブロックベース反復一般化は、標準変換器よりも難易度が高い。 AbbIEは遅延スペースでイテレーションを実行するが、遅延推論モデルとは異なり、特別なデータセットやトレーニングプロトコルを必要としない。
  論文  参考訳（メタデータ） (2025-07-11T13:11:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。