論文の概要: Decoding Looped Transformers Better for (Almost) Free

• arxiv url: http://arxiv.org/abs/2610.02185v1
• Date: Thu, 01 Oct 2026 17:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.366965
• Title: Decoding Looped Transformers Better for (Almost) Free
• Title（参考訳）: ループ変換器の復号化は(ほとんど)無料に
• Abstract要約: LoopCDはトレーニング不要のコントラストデコーディングフレームワークである。 最終予測と以前の繰り返しパスとを対比することでトークン選択を導く。 推論計算を大幅に削減しつつ、より優れた復号性を実現する。
• 参考スコア（独自算出の注目度）: 27.670056718185677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Transformers achieve parameter efficiency by repeatedly executing a shared block across recurrent loops. Each loop yields an intermediate representation decodable for the same next token, yet standard decoding discards earlier states. Because earlier loops embody less computation, recurrence inherently supplies aligned weak-and-strong prediction pairs without auxiliary models or external training. We introduce LoopCD, a training-free contrastive decoding framework that guides token selection by contrasting the final prediction with an earlier recurrent pass, operating either in logit space with one extra output pass (LoopCD-Logits) or in hidden-state space with zero output overhead (LoopCD-Hidden). Across four looped Transformer families, LoopCD delivers substantial, consistent gains at full recurrent depth: LoopCD-Logits raises Ouro-2.6B-Thinking's AIME 2024 pass@1 from 61.88% to 73.33%, while LoopCD-Hidden lifts Huginn's HumanEval pass@1 from 22.56% to 31.71%. Crucially, these performance gains enable halving the number of recurrent loops while still matching or exceeding full-depth unguided baselines, reducing forward FLOPs by 22.5% to 48.2%. By transforming intermediate recurrent states into effective guidance signals, LoopCD achieves superior decoding quality while substantially reducing inference compute.
• Abstract（参考訳）: ループ変換器は繰り返しループ間で共有ブロックを繰り返し実行することでパラメータ効率を達成する。 各ループは、同じ次のトークンに対してデコッド可能な中間表現を生成するが、標準的なデコードは以前の状態を捨てる。 初期のループは計算量が少なかったため、リカレンスは本質的に補助モデルや外部トレーニングを使わずに、整列した弱と強の予測ペアを供給している。 トレーニング不要のコントラストデコーディングフレームワークであるLoopCDを導入し、最終予測と初期繰り返しパスとの対比を行い、ロジット空間で1つの余剰出力パス(LoopCD-Logits)で操作するか、出力オーバーヘッドゼロの隠れ状態空間で動作させる(LoopCD-Hidden)。 LoopCD-Logits raises Ouro-2.6B-Thinking's AIME 2024 pass@1 from 61.88% to 73.33%, LoopCD-Hidden lifts Huginn's HumanEval pass@1 from 22.56% to 31.71%。 重要な点として、これらの性能向上により、繰り返しループの数を半減させながら、完全な未ガイドベースラインにマッチまたは超過し、前部FLOPを22.5%減らして48.2%減らすことができる。 中間繰り返し状態を効果的な誘導信号に変換することにより、LoopCDは推論計算を大幅に削減しつつ、優れた復号性を実現する。

関連論文リスト

• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Training-Free Hidden-State Refinement for Flow-Matching Image Generators [13.43479682921888]
  着信毎に選択したトランスフォーマー層を繰り返し適用する学習自由ループフレームワークを提案する。 2つのスケール-RAEモデルスケールで、ループ変種は、競合する品質-効率のトレードオフを伴う一次および補助的な品質指標を改善する。
  論文  参考訳（メタデータ） (2026-08-29T09:17:02Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting [70.75913449565203]
  Transformerベースのエンコーダはブロック処理に広く使われている。 本稿では,ブロック処理に適した新しいエンコーダSpralformerを提案する。 実験の結果,Librispeechにおける平均トークン放出遅延は21.6%減少した。
  論文  参考訳（メタデータ） (2025-10-01T14:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。