論文の概要: Looped Uniform Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.30066v1
• Date: Wed, 21 Oct 2026 17:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.456279
• Title: Looped Uniform Diffusion Language Models
• Title（参考訳）: ループ付き一様拡散言語モデル
• Abstract要約: 一様拡散言語モデル(UDLM)の選択的ループ化について検討する。 ループ化UDLMは、約0.5兆のトークンで訓練された非ループUDLMの検証NLLに到達し、OpenWebText上でのトレーニングFLOPは最大2.8倍、FineWeb-Eduでは3.3倍少ない。 また、一致したNFE予算では、ループ付きUDLMは非ループ型UDLMよりも9.8%低いパープレキシティに達し、ほとんどの利得は適度なループ数で達成されている。
• 参考スコア（独自算出の注目度）: 38.450171158274024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uniform diffusion language models (UDLMs) generate text by iteratively denoising sequences of ordinary vocabulary tokens, any of which may be corrupted and subsequently revised. During training, UDLMs must denoise from a context that may itself be unreliable, whereas masked diffusion language models (MDLMs) always condition on a clean context. This challenging training objective makes UDLMs more FLOP-intensive to train than MDLMs, but it yields stronger downstream reasoning performance. Recently, selective looping, which recursively applies a few early Transformer layers within each denoising step, has been shown to improve training efficiency in MDLMs under an iso-FLOP budget. We investigate looping in UDLMs while keeping the training objective and sampler unchanged. We find that looping significantly improves training efficiency: looped UDLMs reach the validation NLL of a non-looped UDLM trained on about 0.5 trillion tokens with up to 2.8x fewer training FLOPs on OpenWebText and 3.3x fewer on FineWeb-Edu. We also find that, at a matched NFE budget, looped UDLMs reach up to 9.8% lower generation perplexity than the non-looped UDLM, with most gains achieved at moderate loop counts. Finally, we study different loop-count distributions and find that sampling smaller loop counts more frequently during training improves inference efficiency: on downstream tasks, this strategy uses 12% fewer loops than uniform loop-count sampling without degrading accuracy.
• Abstract（参考訳）: 一様拡散言語モデル(UDLM)は、通常の語彙トークンの列を反復的に復調することでテキストを生成する。 トレーニング中、UDLMはそれ自体が信頼性の低いコンテキストから軽視しなければならないが、マスク付き拡散言語モデル(MDLM)は常にクリーンなコンテキストで条件を定めなければならない。 この挑戦的な訓練目標により、UDLMはMDLMよりもFLOPに強くなるが、下流での推論性能は向上する。 近年,各復調工程において早期トランスフォーマー層を再帰的に適用した選択的ループリングは,異種FLOP予算下でMDLMのトレーニング効率を向上させることが示されている。 UDLMのループ化について,トレーニング目標とサンプルを一定に保ちながら検討した。 ループ化UDLMは0.5兆のトークンでトレーニングされた非ループUDLMの検証NLLに到達し、OpenWebText上でのトレーニングFLOPは最大2.8倍、FineWeb-Eduでは3.3倍減少する。 また、一致したNFE予算では、ループ付きUDLMは非ループ型UDLMよりも9.8%低いパープレキシティに達し、ほとんどの利得は適度なループ数で達成されている。 最後に、異なるループ数分布を調査し、トレーニング中により小さなループ数をサンプリングすることで推論効率が向上することを見出した。下流タスクでは、この戦略は、精度を低下させることなく、一様ループ数サンプリングよりも12%少ないループを使用する。

関連論文リスト

• Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
  ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。 既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。 ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
  論文  参考訳（メタデータ） (2026-09-30T20:09:58Z)
• Less Uniform Discrete Diffusion is More Powerful and Scalable [25.356330849587305]
  本稿では,新しいUDLMフレームワークであるLose Uniform Diffusion (LUDI)を提案する。 スケールにわたる実験では、LUDIはよりクリーンな監視と数ステップの生成を改善することが示されている。 マスク付き拡散ベースラインと比較して、ARデコーディングと競争性能の3段階のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-09-21T13:25:07Z)
• LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models [15.892420496333068]
  Looped Language Models (LoopLMs) は "latent reasoning" を実行する イテレーション間の不安定な洗練は、推論エラーに関連する局所的な不確実な"ハード"トークンを生成する可能性がある。 提案するLoopCDは,これらのトークンを推論時に介入することにより,LoopLMの推論性能を向上させる。
  論文  参考訳（メタデータ） (2026-09-21T07:10:28Z)
• Skip a Layer or Loop It? Learning Program-of-Layers in LLMs [22.794776940675828]
  大規模言語モデル(LLM)は、すべてのレイヤの固定された深さと順序に従って推論を行う。 トレーニングフリー、フレキシブル、動的プログラム・オブ・レイヤー(PoLar)の幅広い存在を明らかにする。 本稿では,各入力に対して事前学習したレイヤを動的にスキップあるいは繰り返す実行プログラムを生成する軽量なPoLar予測ネットワークを提案する。
  論文  参考訳（メタデータ） (2026-06-04T17:59:58Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
  CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。 コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。 GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
  論文  参考訳（メタデータ） (2025-09-27T15:36:59Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。