論文の概要: Improving Test-Time Scaling with Adaptive Looped Transformers

• arxiv url: http://arxiv.org/abs/2609.35748v1
• Date: Mon, 28 Sep 2026 17:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:10:09.439377
• Title: Improving Test-Time Scaling with Adaptive Looped Transformers
• Title（参考訳）: 適応ループ変換器によるテスト時間スケーリングの改善
• Abstract要約: テスト時間復号化FLOPの倍率当たりの精度ゲインとして測定された精度計算傾きについて検討した。 既存のループ変換器は、ループのないベースラインよりも急勾配になることが多いが、一致した計算では性能が劣る。 ループ化の恩恵を受けるトークンに余分なイテレーションを集中させることができるTaH2を提案する。
• 参考スコア（独自算出の注目度）: 27.116908391880568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped transformers have demonstrated promising parameter efficiency by reusing layers for latent computation. Prior studies compare looped and non-looped models at matched parameters or per-token FLOPs. However, to the best of our knowledge, whether looping improves test-time scaling as outputs grow longer remains underexplored. Through post-training looped transformers, we study the accuracy-compute slope, measured as the accuracy gain per doubling of test-time decoding FLOPs. We find that existing looped transformers often yield steeper slopes than their non-looped baseline, yet underperform it at matched compute. While fixed-depth looping spends extra iterations on every token, our analysis shows that many tokens do not benefit from extra iterations. We therefore propose TaH2, which enables the model to focus extra iterations on the tokens that benefit from looping. It jointly post-trains the backbone and an iteration decider through lookahead depth supervision, which uses online labels indicating whether further iteration improves the prediction. TaH2 improves both the efficiency and attainable accuracy of test-time scaling. On challenging AIME benchmarks, TaH2 improves the accuracy-compute slope by 53% (2.74 vs. 1.79) over the non-looped baseline, exceeding the baseline's peak accuracy by about 3.4 points at matched test-time compute. As the maximum iteration depth increases, existing looped models largely plateau, while TaH2's gain over the non-looped baseline continues to grow from +2.8 points at depth 2 to +3.9 points at depth 8. Our code is available at https://github.com/thu-nics/TaH.
• Abstract（参考訳）: ループ変換器は、遅延計算のために層を再利用することで、有望なパラメータ効率を示す。 以前の研究では、一致したパラメータや難解なFLOPのループモデルと非ループモデルを比較していた。 しかしながら、私たちの知る限りでは、ループ化がアウトプットが長くなるにつれてテスト時間のスケーリングを改善するかどうかはまだ未検討のままです。 学習後ループ変換器を用いて、テスト時間復号化FLOPの倍率当たりの精度ゲインとして測定された精度計算斜面について検討する。 既存のループ変換器は、ループのないベースラインよりも急勾配になることが多いが、一致した計算では性能が劣る。 固定深さループはすべてのトークンに余分なイテレーションを費やすが、我々の分析によると、多くのトークンは追加のイテレーションの恩恵を受けない。 したがって、ループ化の恩恵を受けるトークンに余分なイテレーションを集中させることができるTaH2を提案する。 バックボーンとイテレーション決定器を共同でトレーニングし、ルックアヘッド深度監視を通じて、さらなるイテレーションが予測を改善するかどうかを示すオンラインラベルを使用する。 TaH2は、テスト時間スケーリングの効率性と達成可能な精度の両方を改善する。 挑戦的なAIMEベンチマークでは、TaH2は非ループベースラインの精度を53%(2.74対1.79)改善し、一致したテストタイム計算でベースラインのピーク精度を約3.4ポイント上回っている。 最大反復深度が増加するにつれて、既存のループモデルはほぼプラトーとなるが、非ループベースラインに対するTaH2の利得は深さ2.8から深さ8.3.9まで伸び続けている。 私たちのコードはhttps://github.com/thu-nics/TaH.comで利用可能です。

関連論文リスト

• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Parcae: Scaling Laws For Stable Looped Language Models [35.9547796403241]
  従来の固定深度アーキテクチャは、FLOPのトレーニングを増やすことで、通常、より高いメモリフットプリントやデータを犠牲にして、パラメータ化を増やすことで、品質をスケールする。 潜在的に代替となるのがループアーキテクチャであり、ループ内のレイヤブロックを通じてアクティベーションを送信することでFLOPを増大させる。 有望ではあるが、ループ化されたアーキテクチャをトレーニングするための既存のレシピは不安定になり、残余の爆発と損失のスパイクに悩まされる。 本稿では, 負の対角パラメータ化の離散化により, 射出パラメータのスペクトルノルムを制約する新しい安定ループアーキテクチャであるParcaeを提案する。
  論文  参考訳（メタデータ） (2026-04-14T16:43:37Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。