論文の概要: Dory1.0-4B: A Looped Normalized-GPT
- arxiv url: http://arxiv.org/abs/2611.03998v1
- Date: Mon, 02 Nov 2026 21:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:53:32.964399
- Title: Dory1.0-4B: A Looped Normalized-GPT
- Title(参考訳): Dory1.0-4B:ループ正規化GPT
- Abstract要約: 弾性深さを持つ4ビリオンパラメータループ言語モデルであるDory1.0-4Bを導入する。
Supervised Fine-Tuning (SFT) とReinforcement Learning with Verifiable Rewards (RLVR) を用いたモデル後学習を行った。
Dory1.0-4Bは、平均12ベンチマークでQwen3.5-9B、Gemma 4 12B、Gemma 4 26B-A4Bなど、より大きなモデルを上回っている。
- 参考スコア(独自算出の注目度): 43.798382414808934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Dory1.0-4B, a 4-billion-parameter looped (latent-recurrent) language model with elastic depth: a single checkpoint serves different inference compute budgets. Dory1.0-4B is built on a normalized Transformer (nGPT) backbone with interleaved sliding-window and full-attention layers, organized into an input block, a shared recurrent block, and an output block. At inference, the recurrent block can be applied a variable number of times. We pre-trained Dory1.0-4B on 6 trillion tokens. The first 4.5 trillion tokens were trained in NVFP4, and additional pre-training then extended the context length to 256K tokens. Next, we post-trained the model using Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR), with a difficulty-aware loop curriculum that routes harder prompts to deeper loops. Increasing the loop count improves accuracy, with the largest gains on coding, agentic, and long-context benchmarks. With two or more loops, Dory1.0-4B outperforms larger models such as Qwen3.5-9B, Gemma 4 12B, and Gemma 4 26B-A4B on average across 12 benchmarks. Looping also makes Dory1.0-4B more token-efficient on agentic benchmarks: with four loops, it generates 1.3-2.5x fewer tokens than with one loop, as the extra computation is spent in latent space rather than on longer outputs. To reduce memory during looping, Dory1.0-4B caches keys and values only from the last loop, keeping its KV-cache footprint equal to that of a non-looped model at any loop count while retaining most of the accuracy gains. We open-source the BF16, MXFP8, NVFP4, and GGUF quantized checkpoints.
- Abstract(参考訳): そこで我々は,4ビリオンパラメトリックループ型(遅延)言語モデルであるDory1.0-4Bを紹介した。
Dory1.0-4Bは正規化トランスフォーマー(nGPT)のバックボーン上に構築されており、インターリーブされたスライドウインドウとフルアテンション層があり、入力ブロック、共有リカレントブロック、出力ブロックで構成されている。
推論では、リカレントブロックを変数数で適用することができる。
6兆のトークンでDory1.0-4Bを事前訓練しました。
最初の4.5兆のトークンはNVFP4で訓練され、追加の事前訓練によりコンテキスト長は256Kに拡張された。
次に,より深いループへ進路を誘導する難易度の高いループカリキュラムを用いて,SFT(Supervised Fine-Tuning)とRLVR(Reinforcement Learning with Verifiable Rewards)を用いてモデルをポストトレーニングした。
ループカウントの増加により精度が向上し、コーディング、エージェント、ロングコンテキストのベンチマークで最大の利益が得られた。
2つ以上のループを持つDory1.0-4Bは、平均12ベンチマークでQwen3.5-9B、Gemma 4 12B、Gemma 4 26B-A4Bのようなより大きなモデルより優れている。
ループ化により、Dory1.0-4Bはエージェントベンチマーク上でよりトークン効率が良くなり、4つのループで1つのループよりも1.3-2.5倍少ないトークンを生成する。
ループ中のメモリを削減するため、Dry1.0-4Bは最後のループからのみキーと値をキャッシュし、KVキャッシュのフットプリントはどのループ数でも非ループモデルのフットプリントに等しい。
我々はBF16、MXFP8、NVFP4、GGUFの量子化されたチェックポイントをオープンソース化した。
関連論文リスト
- LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers [9.188178438603975]
ループ変換器は、言語モデリングのための標準変換器に代わるパラメータ効率の良い代替品である。
ループ変換器のKVキャッシュベクトル量子化手法であるLoopVQを提案する。
0.5ビットで、LoopVQは標準LLMの既存のKVキャッシュベクトル量子化手法を、一般的な長鎖の推論、長いコンテキストの検索タスクで上回る。
論文 参考訳(メタデータ) (2026-11-03T18:16:29Z) - Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。
BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-10-19T08:52:29Z) - One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。
ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
論文 参考訳(メタデータ) (2026-10-08T18:05:42Z) - RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。
RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
論文 参考訳(メタデータ) (2026-09-03T05:29:24Z) - SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。
混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。
一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
論文 参考訳(メタデータ) (2026-09-01T14:52:57Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳(メタデータ) (2026-06-16T15:03:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。