論文の概要: How Much Gradient Does Truncated Backprop Lose in Looped Transformers?

• arxiv url: http://arxiv.org/abs/2610.28871v1
• Date: Tue, 20 Oct 2026 19:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.218431
• Title: How Much Gradient Does Truncated Backprop Lose in Looped Transformers?
• Title（参考訳）: ループ変換器のバックプロップ切断量について
• Abstract要約: ループ変換器は1ブロックの層を何度も再利用し、最後のkループだけをバックプロパゲートすることでしばしば訓練される。 9つのループ言語モデルで、1つの後進パスから1kずつの重み勾配を正確に測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers reuse one block of layers many times and are often trained by backpropagating through only the last k loops. We measure how much of the weight gradient this throws away, exactly and for every k from one backward pass, on nine looped language models, and report three findings. First, on a trained model this lost gradient is set near the output: once the loop count is well above k, it barely changes with the loop count (within about 0.03 from 32 to 64 loops on the three models we tested, as a pre-registered test predicted for Parcae). Where the backward signal shrinks, $ρ^k$, with $ρ$ the signal's fitted shrink per loop, approximates it at moderate loop counts but overstates it at long ones, because the fitted $ρ$ drifts up as the fit takes in more loops. On Ouro the signal grows, and keeping two of four loops still loses 81% of the final output's gradient. Second, the lost gradient falls during fine-tuning, by 0.07-0.22 within 300 steps on three of four models, on held-out problems too. The fall is not just the read-out's share of the gradient; training only the layers outside the loop reproduced up to half of it, and it also falls under truncated training. So a trained model's value overstates what truncation removes later. Third, we could not show that it predicts the training cost of truncation better than rules that need no measurement: on two new models it tied Parcae's cost at the same k, in a test too small to separate them.
• Abstract（参考訳）: ループ変換器は1ブロックの層を何度も再利用し、最後のkループだけをバックプロパゲートすることでしばしば訓練される。 我々は,9つのループ言語モデルを用いて,1つの後進パスから1kずつの重量勾配を正確に測定し,3つの知見を報告する。 まず、訓練されたモデルにおいて、この失った勾配は出力の近傍に設定される: ループ数が k よりかなり大きいと、ループ数ではほとんど変化しない(Parcae で事前登録されたテストとして、テストした3つのモデルで、32から64のループから約 0.03 まで)。 後方の信号が縮むとき、$ρ^k$は、信号のループ毎の適合収縮を$ρ$とすると、適度なループ数で近似するが、適合した$ρ$がより多くのループに収まるにつれて、長いループ数でオーバーステートする。 オウロでは信号は増加し、4つのループのうち2つは依然として最終出力の勾配の81%を失う。 第二に、失った勾配は微調整中に減少し、4つのモデルのうち3つのモデルのうち300ステップ以内の0.07-0.22はホールドアウト問題でも減少する。 ループの外側のレイヤのみをトレーニングすることは、その半分まで再現され、また、停止したトレーニングにも適用されます。 したがって、訓練されたモデルの値は、後に取り除かれるものをオーバーステートする。 第三に、測定不要なルールよりもトランケーションのトレーニングコストを予測することは不可能でした — 2つの新しいモデルでは、Parcaeのコストを同じkで結ぶことができました。

関連論文リスト

• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
  Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
  論文  参考訳（メタデータ） (2026-10-08T18:05:42Z)
• Rotate the Loop: Blockwise Conformality for Looped Transformers [72.4010041245191]
  ループが状態を追跡することを学習したかどうかが,この地図の形状に関する幾何学的問題であることを示す。 残差を座標整列群に分割し,それぞれ内部を回転させるブロックワイド整列注入を提案する。
  論文  参考訳（メタデータ） (2026-09-30T23:32:34Z)
• A Tilted Bowl Is Not a Slippery Slope: Compressing Looped Models [15.460381731793975]
  ループモデルは、同じ重みのブロックを何度も適用することで理にかなった。 ループが落ち着くと、固定された丸め誤差は蓄積しない。 この写真では、どのモデルが1つのラベルなし測定で失敗するかを予測することができます。
  論文  参考訳（メタデータ） (2026-09-30T08:28:48Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。