論文の概要: Looped Transformers as Optimizers

• arxiv url: http://arxiv.org/abs/2609.37379v1
• Date: Tue, 29 Sep 2026 12:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.487375
• Title: Looped Transformers as Optimizers
• Title（参考訳）: 最適化器としてのループ変換器
• Abstract要約: Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。 最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。 ループした隠された状態は、深さを通して更新される高速な重みと見なす。 ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
• 参考スコア（独自算出の注目度）: 39.57587942081881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Transformers provide a parameter-efficient approach to depth scaling by repeatedly applying shared Transformer blocks. Recent reasoning models have likewise highlighted the value of scaling test-time computation through longer computation trajectories. However, the principles for designing effective loop transitions remain poorly understood. We view the looped hidden state as a fast weight that is updated throughout the depth. We formulate loop transitions as local gradient-based updates, with recurrent blocks predicting implicit targets at each depth. Our framework derives loop transitions in closed form from a projection, a local objective and an optimizer update rule. Mapping representative loop transitions into this framework reveals mismatches between their transitions and projections. We first align the input maps of existing transitions. We then derive OperLoop, which combines explicit weight decay, adaptive step size and a delta objective. The aligned variants reduce training loss and improve average commonsense accuracy. OperLoop improves average generative performance over the compared looped and non-looped baselines under matched training FLOPs. These results support the framework's usefulness for loop design. We extend the analysis to additional loop models and outline a roadmap for future loop transition design.
• Abstract（参考訳）: Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。 最近の推論モデルも同様に、より長い計算軌跡によるテスト時間計算のスケーリングの価値を強調している。 しかし、効果的なループ遷移を設計する原理はいまだに理解されていない。 ループした隠された状態は、深さを通して更新される高速な重みと見なす。 ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。 我々のフレームワークは、プロジェクション、局所目的、オプティマイザ更新ルールから、クローズドな形式のループ遷移を導出する。 代表ループの遷移をこのフレームワークにマッピングすると、遷移と投影のミスマッチが明らかになる。 まず、既存の遷移の入力マップを整列する。 次に、明示的な重み減衰、適応的なステップサイズ、デルタ目標を組み合わせたOperLoopを導出する。 整列型はトレーニング損失を低減し、平均コモンセンス精度を向上させる。 OperLoopは、マッチングトレーニングFLOPにおいて、比較ループおよび非ループベースラインに対する平均生成性能を改善する。 これらの結果は、ループ設計におけるフレームワークの有用性を支持する。 分析を追加のループモデルに拡張し、将来のループ遷移設計のロードマップを概説する。

関連論文リスト

• Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning [46.34681410689956]
  ループ推論モデルは、パラメータの共有セットを繰り返し適用し、モデルのサイズを増大させることなく、より多くの計算を可能にします。 近年の言語モデリングおよび推論におけるループ変換器の成功により,動的ループ化がシーケンシャルな意思決定に有用かどうかを考察した。 共有計算ブロックを用いて固定点に対する潜在表現を洗練するトランスフォーマーベースのポリシーであるLooped Actorを導入する。
  論文  参考訳（メタデータ） (2026-09-29T12:57:04Z)
• Loop Dropout: Regularizing Shared Updates in Looped Language Models [18.32401643802363]
  ループ言語モデルは、同じ変圧器ブロックを繰り返し適用することで、パラメータカウントから計算深度を分離する。 我々の経験的分析によると、標準低ランク適応(LoRA)における遅延ループバイアスは顕著である。 本稿では,更新強度を維持するために,逆サバイバル再スケーリングによるアダプタアプリケーションのマスキングを低減するループドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-28T03:24:28Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training [9.617245548268437]
  事前訓練された言語モデルにおいて,長期化のための推論時間内ループを提案する。 複数のベンチマークで、内部ループは控えめだが、一貫した精度の向上をもたらす。 以上の結果から, 凍結事前学習モデルにおいて, 簡単なテスト時間ループにより, さらなる改良が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-16T14:04:24Z)
• LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation [9.943277041891788]
  可変長トラジェクタで訓練されたループ変換器であるLoopFormerを導入し、予算条件の推論を可能にする。 私たちのコアコントリビューションは、異なる長さの軌跡を整列するショートカット一貫性トレーニングスキームです。 LoopFormerは、アグレッシブな計算制約下でさえ、言語モデリングと推論ベンチマークで堅牢なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-02-11T23:58:28Z)
• Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning [47.06427150903487]
  CoT(Chain-of-Thought)プロンプトは、言語モデルの推論能力を高めるための強力なテクニックとして登場した。 ループ変換器は目覚ましい長さの一般化能力を有するが、その限定的な一般化と適応性により、自己回帰解の代替として機能することができない。 ループ変換器の強度をよりよく活用するためのRELAYを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:17:04Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。