論文の概要: Agreement rather than normalisation keeps depth reusable in looped language models

• arxiv url: http://arxiv.org/abs/2610.31943v1
• Date: Thu, 22 Oct 2026 21:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.299913
• Title: Agreement rather than normalisation keeps depth reusable in looped language models
• Title（参考訳）: 正規化よりも合意はループ言語モデルで深度を再利用し続ける
• Abstract要約: トレーニングされた予算を超えるループは、推論時に使用できなければならないことを示す。 ループステップ間の状態を正規化するかどうかを問う。 正規化なしのトレーニングは、それによるトレーニングよりも悪くないことを示し、外挿を良くする。
• 参考スコア（独自算出の注目度）: 0.1749935196721634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models apply one block of layers repeatedly, and the design pays off only if depth is reusable: loop steps beyond the trained budget must remain usable at inference. We ask whether that rests on normalising the state between loop steps, as the released Ouro models do, or on agreement between the loop a model is trained with and the loop it is run with. On released weights this loop-boundary normalisation can be removed without adding parameters and with the readout path bit-identical, and the operation is an identity at one loop step, which serves as an implementation check. Removing it takes Ouro-1.4B and Ouro-2.6B to zero accuracy by the trained budget on a balanced binary task (chance 0.500). State-norm growth, the failure that prior accounts predict, is not the cause: the norm stays within a factor of 2.021 while the head commits to a single wrong token. Yet in 19M-parameter models trained from scratch on two synthetic tasks, 16 seeds per configuration, training without the normalisation is never worse than training with it and extrapolates better: the two are closest at the trained depth and separate on both sides of it (Cliff's delta up to 0.867 beyond the budget). Both results follow if agreement, and not the normalisation itself, is what keeps depth reusable. The damage sits in the readout together with the last layer of the block: in the models trained from scratch, refitting the head over the frozen modified loop recovers a third of the lost accuracy and plateaus, while refitting the last block layer with it recovers all of it. Finally, comparing looped with stacked depth at an equal inference loop count is confounded by unequal overshoot of the trained budget; at matched overshoot the advantage of looping vanishes on one task and shrinks on the other.
• Abstract（参考訳）: ループ言語モデルは、繰り返し1ブロックのレイヤを適用し、深さが再利用された場合にのみ、設計が報われる:訓練された予算を超えるループステップは、推論時に使用できなければならない。 これは、リリースされたOuroモデルのようにループステップ間の状態の正規化、あるいは、モデルがトレーニングされたループと、それが実行されるループとの一致にかかっているかどうかを問う。 リリースされた重み付けでは、このループ境界正規化はパラメータを追加せずに削除でき、読み出しパスはビット識別され、その操作は実装チェックとして機能する1つのループステップにおけるアイデンティティである。 Ouro-1.4B と Ouro-2.6B は、バランスの取れたバイナリタスクで訓練済みの予算でゼロの精度で除去される。 頭が1つの間違ったトークンにコミットしている間、標準は2.021の要素内に留まる。 しかし、2つの合成作業でスクラッチから訓練された19Mパラメーターモデルでは、構成ごとに16の種が与えられ、正規化なしでの訓練は、トレーニングよりも悪く、外挿性が良く、訓練された深さに最も近いため、両方の側面で分離される(クリフのデルタは予算の最大0.867まで)。 どちらの結果も、正常化そのものではなく、合意が深みを再利用し続けるかどうかに従う。 スクラッチからトレーニングされたモデルでは、凍結した修正ループ上で頭部をリフィットすると、失われた精度とプラトーの3分の1が回復し、最後のブロック層をリフィットする。 最後に、同一の推論ループ数で積み重ねられたループの比較は、訓練された予算の不平等なオーバーシュートによって構成され、一致したオーバーシュートでは、あるタスクでループの利点が消滅し、他方で減少する。

関連論文リスト

• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
  Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
  論文  参考訳（メタデータ） (2026-10-08T18:05:42Z)
• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
  ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。 既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。 ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
  論文  参考訳（メタデータ） (2026-09-30T20:09:58Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。