論文の概要: Rectified Looped Transformer
- arxiv url: http://arxiv.org/abs/2611.16265v1
- Date: Thu, 12 Nov 2026 04:07:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.357512
- Title: Rectified Looped Transformer
- Title(参考訳): 整流ループ形変圧器
- Abstract要約: ループ変換器は、共有ブロックを繰り返し適用することで、効果的な深さを増大させる。
既存の作業の多くは、各ループの出力を直接次の入力として再利用する。
本稿では、フローベースモデリングにインスパイアされたスケジュールを用いてループ間のフィードバックを再設計するRectified Looped Transformer (RLT)を提案する。
- 参考スコア(独自算出の注目度): 17.725463397610135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped Transformers increase effective depth by repeatedly applying a shared block, offering a parameter-efficient approach to language modeling. However, most existing works directly reuse each loop's output as the next's input, which can lead to hidden-state scale growth and perturbation amplification as recurrence deepens. We propose Rectified Looped Transformer (RLT), which redesigns feedback between loops using an interpolation schedule inspired by flow-based modeling. At each loop, RLT forms the next input by linearly interpolating between the current state and its prediction. Such interpolation distributes state changes across loops, encouraging a smoother trajectory from the initial input to the final output. Theoretical analysis proves that, under appropriate assumptions, RLT keeps state magnitudes uniformly bounded across loops and reduces the worst-case perturbation amplification. We evaluate RLT on language modeling corpora and downstream benchmarks. At matched training and inference depths, RLT consistently achieves lower perplexity than a standard looped Transformer, while exhibiting greater robustness to input perturbations and variance in inference depth. Consistent with the theoretical results, latent trajectory analysis shows that RLT maintains more stable hidden-state norms across loops, which also facilitates extrapolation-based decoding strategies. Notably, RLT achieves these gains without requiring additional trainable parameters or extra recurrent block evaluations, thus providing a simple yet more stable feedback mechanism for looped Transformers.
- Abstract(参考訳): ループ変換器は、共有ブロックを繰り返し適用することで、効果的な深さを増大させ、言語モデリングに対するパラメータ効率のよいアプローチを提供する。
しかし、既存のほとんどの研究は、各ループの出力を直接次の入力として再利用しており、再帰が深まるにつれて、隠れ状態のスケールの増大と摂動の増幅につながる可能性がある。
本稿では,フローベースモデリングにインスパイアされた補間スケジュールを用いてループ間のフィードバックを再設計するRectified Looped Transformer (RLT)を提案する。
各ループにおいて、RLTは現在の状態とその予測を線形に補間することで次の入力を形成する。
このような補間はループ間の状態変化を分散し、初期入力から最終的な出力へのスムーズな軌道を奨励する。
理論的解析により、RLTは適切な仮定の下で、状態の等級をループ全体に均一に束縛し、最悪の場合の摂動増幅を減少させることが証明される。
言語モデリングコーパスと下流ベンチマークを用いてRLTを評価する。
一致したトレーニングと推論深度において、RTTは標準ループ変換器よりも低いパープレキシティを一貫して達成し、入力摂動と推論深度のばらつきに対してより堅牢性を示す。
理論的結果と一致して、潜在軌道解析により、RTTはループをまたいだより安定した隠れ状態ノルムを維持しており、外挿に基づく復号戦略を促進する。
特に、RLTはトレーニング可能なパラメータや追加の繰り返しブロック評価を必要とせずにこれらのゲインを達成し、ループ変換器のよりシンプルな、より安定したフィードバック機構を提供する。
関連論文リスト
- Quickly extracting fidelity decay rates in random circuit benchmarking experiments [0.04167324031748188]
本稿では,標準LinXEBポストプロセッシングとトレースフィルタ関数と呼ばれる新しいポストプロセッシング技術の間を補間する1パラメータの推定器群を紹介する。
現実的な仮定では、トレースフィルタ関数は一時的なモードを確実に抑制し、短い深さで解釈可能な忠実度減衰を露呈する。
リゲッティ超伝導プロセッサの実験は、最大12キュービットの1次元回路の手法を検証する。
論文 参考訳(メタデータ) (2026-10-08T09:10:01Z) - Looped Diffusion Transformer [126.10100109922593]
分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。
ナイーブループは 画像の質を 常に向上させません
ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
論文 参考訳(メタデータ) (2026-09-30T17:52:08Z) - Looped Transformers as Optimizers [39.57587942081881]
Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。
最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。
ループした隠された状態は、深さを通して更新される高速な重みと見なす。
ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
論文 参考訳(メタデータ) (2026-09-29T12:31:51Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳(メタデータ) (2026-06-29T08:58:09Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳(メタデータ) (2026-06-16T15:03:05Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳(メタデータ) (2026-05-26T10:10:26Z) - Simply Stabilizing the Loop via Fully Looped Transformer [41.240805541680395]
Looped Transformerは、ループイテレーションの数が増えると、トレーニングの不安定性に悩まされる。
実験により、フルループ変換器はトレーニングの安定性を改善し、下流の性能を高め、異なるテスト時間計算予算の下で予備的適応性を提供することを示した。
論文 参考訳(メタデータ) (2026-05-11T07:21:53Z) - PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。
PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。
この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
論文 参考訳(メタデータ) (2026-02-11T12:39:41Z) - Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning [47.06427150903487]
CoT(Chain-of-Thought)プロンプトは、言語モデルの推論能力を高めるための強力なテクニックとして登場した。
ループ変換器は目覚ましい長さの一般化能力を有するが、その限定的な一般化と適応性により、自己回帰解の代替として機能することができない。
ループ変換器の強度をよりよく活用するためのRELAYを提案する。
論文 参考訳(メタデータ) (2025-02-12T15:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。