論文の概要: One Model to Loop Them All: Elastic Latent Recurrence for Language Models

• arxiv url: http://arxiv.org/abs/2610.12582v1
• Date: Thu, 08 Oct 2026 18:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.243958
• Title: One Model to Loop Them All: Elastic Latent Recurrence for Language Models
• Title（参考訳）: ループする1つのモデル: 言語モデルに対する弾性潜時再帰
• Abstract要約: Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
• 参考スコア（独自算出の注目度）: 42.54052939692861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A latent recurrent language model applies a shared block of layers repeatedly, so one checkpoint can trade inference compute for accuracy by changing the loop count. At one loop, however, such models typically fall well short of a non-recurrent model of the same size, a one-loop tax that makes a separate non-recurrent model the better choice whenever latency matters. We present Elastic Latent Recurrence (ELR), a recipe for training looped language models without this tax. At one loop, an ELR model costs the same to serve as a non-recurrent model of the same size and, trained on the same data, reaches similar accuracy. Each additional loop then buys more accuracy for more inference compute. Three choices make this work: a gated state update with a learned step size, loop counts mixed within each optimizer update, and conditioning each pass on its loop index and budget. The first two preserve one-loop accuracy, and the third lowers loss at every additional loop. Mixed depths can be introduced late in pretraining to limit the added training cost, and with zero-initialized conditioning added at the switch, this late schedule reaches lower loss than mixed-depth training from scratch. In MoE models, reusing first-loop expert routes on later loops cuts mixed-depth update time by 11.7% with no measurable change in accuracy. At inference, keeping only the last loop's attention KV cache holds attention KV memory at its one-loop level while retaining most of the gain from additional loops. On 4B dense and 30B-A3B MoE hybrid models, ELR at one loop is 0.52 points below and 1.04 points above its matched baseline on a ten-task average, and four loops add 7.25 and 4.75 points. Carried through post-training, the recipe yields Koi-4B, a single checkpoint that scores an estimated 18 on the Artificial Analysis Intelligence Index at one loop, matching Qwen3.5-4B, and 29 at four loops.
• Abstract（参考訳）: 遅延リカレント言語モデルは、繰り返しレイヤの共有ブロックを適用するため、ループ数を変更することで、1つのチェックポイントが正確に推論計算を交換することができる。 しかし、あるループでは、そのようなモデルは通常、同じサイズの非リカレントモデル、すなわち、レイテンシが問題となるたびに別の非リカレントモデルをより良い選択にするための1ループ税にかなり劣る。 本稿では,この税を使わずにループ型言語モデルをトレーニングするためのレシピであるElastic Latent Recurrence(ELR)を提案する。 あるループでは、ELRモデルは同じサイズの非リカレントモデルとして機能し、同じデータでトレーニングされた同じ精度に達する。 各追加ループは推論計算の精度を高める。 ステップサイズを学習したゲート状態更新、オプティマイザ更新毎にループカウントが混在する、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。 最初の2つは1ループの精度を保ち、3番目は追加ループ毎に損失を下げる。 追加のトレーニングコストを制限するためにプレトレーニングの後半に混合深度を導入でき、スイッチにゼロ初期化条件を追加することにより、この遅延スケジュールはスクラッチから混合深度トレーニングよりも損失が小さい。 MoEモデルでは、後続のループでファーストループの専門家ルートを再利用することで、混合深度更新の時間を11.7%削減できる。 推論では、最後のループのみの注意KVキャッシュは、1ループレベルで注意KVメモリを保持し、追加ループからの利益のほとんどを保持します。 4B密度と30B-A3B MoEハイブリッドモデルでは、1ループでのELRは0.52ポイント、1.04ポイントは10タスク平均で一致したベースラインより上であり、4ループでは7.25ポイントと4.75ポイントが加算される。 トレーニング後、このレシピは1ループでArtific Analysis Intelligence Indexで推定18点、Qwen3.5-4Bで29点を4ループで評価する単一のチェックポイントであるKoi-4Bを生成する。

関連論文リスト

• LiFT: Loop Flow Transformers [50.488069867161556]
  ループフロー変換器(LiFT)は、共有拡散変換器(DiT)コアを繰り返し適用することにより、計算をスケールする。 LiFTは各ステップを1つの回帰目標(モデルの初期推定からフローマッチング目標への直線経路上の点)で訓練する。 256x256のImageNetでは、LiFT-L/2は高密度のDiT-XL/2ベースラインよりもFID 3.34ポイント低い。
  論文  参考訳（メタデータ） (2026-10-04T21:11:47Z)
• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
  ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。 既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。 ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
  論文  参考訳（メタデータ） (2026-09-30T20:09:58Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
  空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。 SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
  論文  参考訳（メタデータ） (2026-06-07T15:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。