論文の概要: On the Design Space of Continuous Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.13834v1
• Date: Fri, 09 Oct 2026 16:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.689571
• Title: On the Design Space of Continuous Diffusion Language Models
• Title（参考訳）: 連続拡散言語モデルの設計空間について
• Abstract要約: 連続拡散言語モデル(CDLMM)は、サンプリングと生成の高速化を含む、連続フローモデリングの利点を言語にもたらすことを約束する。 そこで本研究では,標準学習における離散拡散レベル性能とチューニング標本化について述べる。 私たちはまた、レバー、すなわち自己条件の埋め込み幾何学に光を当て、それらの背後のメカニズムに光を当てました。
• 参考スコア（独自算出の注目度）: 28.78408075443708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion language models (CDLMs) promise to bring the benefits of continuous flow modelling to language, including accelerated sampling and controllable generation. The field has grown rapidly, and the capabilities of CDLMs have begun to rival those of discrete diffusion. Yet, unlike for continuous modalities such as images or videos, our grasp of the levers that matter when training CDLMs remains limited. In this work, we focus on two of these levers, namely self-conditioning and embedding geometry, and shed light on some of the mechanisms behind them, which in turn suggest cheaper and more effective designs. We begin by showing that self-conditioning corrects a train/inference mismatch by exposing the model to inference-like states that are otherwise rare during training. These gains can be recovered without an extra forward pass by a two-level interpolant, coined $\mathrm{DoubleCat}$, which improves TinyGSM accuracy more than threefold. Self-conditioning also aids in recognising tokens dominated by large-norm Gaussians$\unicode{x2013}$an issue known as token identifiability. To address it directly, we introduce discrete reveals to $\mathrm{DoubleCat}$, yielding $\mathrm{SemiCat}$, which achieves discrete diffusion-level performance on TinyGSM, reaching $49.94\%$ with standard training hyperparameters and a tuned sampler. At the $1.7$B scale, $\mathrm{SemiCat}$ outperforms discrete diffusion on four of six likelihood-based evaluations, and surpasses one-hot flows on unconditional generation. On embedded spaces, we find that cross-entropy drives embeddings towards a geometry whose decoding error rate closely matches the one-hot one. We briefly explore a range of further options, such as hybrid corruption processes and noise schedules, including asynchronous ones. We believe this exploration can help the community better understand and advance the design space of CDLMs.
• Abstract（参考訳）: 連続拡散言語モデル(CDLM)は、加速サンプリングや制御可能な生成を含む、連続フローモデリングの利点を言語にもたらすことを約束する。 この分野は急速に成長し、CDLMの能力は離散拡散の能力に匹敵し始めている。 しかし、画像やビデオのような連続的なモダリティとは異なり、CDLMのトレーニングにおいて重要なレバーの把握は限られている。 本研究では,これら2つのレバー,すなわち自己条件と埋め込み幾何に注目し,その背後にあるいくつかのメカニズムに光を当て,より安価で効率的な設計を示唆する。 自己条件付けは、トレーニング中に稀な推論のような状態にモデルを公開することで、列車/推論ミスマッチを補正することから始める。 これらの利得は、2レベルの補間子によって余分なフォワードパスなしで回収することができ、$\mathrm{DoubleCat}$と名付けられ、TinyGSMの精度が3倍以上に向上する。 自己条件付けはまた、トークン識別可能性として知られる大きなノームガウシアン$\unicode{x2013}$an問題に支配されるトークンの認識を助ける。 これはTinyGSM上での離散拡散レベルのパフォーマンスを実現し、標準のトレーニングハイパーパラメータとチューニングされたサンプリング器で49.94 %の価格に到達します。 17ドルのスケールで、$\mathrm{SemiCat}$は6つの可能性に基づく評価のうち4つの離散拡散を上回り、非条件生成上の1ホットフローを上回る。 埋め込み空間上では、クロスエントロピーは、デコードエラー率が1ホットのものとよく一致するような幾何学への埋め込みを駆動する。 ハイブリッドな汚いプロセスや、非同期なものを含むノイズスケジュールなど、さまざまなオプションについて簡単に調べる。 この調査は、CDLMの設計領域をより深く理解し、前進させるのに役立つと信じています。

関連論文リスト

• Representation-Space MMD for Diffusion Language Models [15.375628891899437]
  平均最大離散性(MMD)を最小化する拡散言語モデル(DLM)のポストトレーニング手法を提案する。 我々は、離散モデルに対するポリシー勾配と、連続モデルに対する生成されたラテントによる直接微分を用いて、この目的を最適化する。 実験では、OpenWebText上での同等エントロピーにおける生成パープレキシティの低下と、GSM8K上での精度計算のトレードオフの改善が示されている。
  論文  参考訳（メタデータ） (2026-10-05T16:28:29Z)
• Improved Distributional Diffusion Models [76.7431857619657]
  分散拡散モデルでは、標準的な平均予測デノイザを、スコアリングルールの目的によって訓練された固有分布デノイザに置き換える。 本稿では, 時間依存型スコアリングルールのスケジュールを, サーモット・ビロリ2024の動的レギュレーションによって通知する。 4段目で4.48 FID、50段目で2.38 FIDをDiT-XL/2で達成した。
  論文  参考訳（メタデータ） (2026-09-29T09:41:56Z)
• Language Modeling with Hyperspherical Flows [12.083218729202963]
  近年のフロー言語モデル (FLM) は連続的な流れを言語に適用し、決定論的ODEを持つデータにノイズを伝達する。 $mathbbS$-FLMは、クロスエントロピーで学習した速度場に沿って$mathbbSd-1$の回転ベクトルによってシーケンスを生成する。 $mathbbS$-FLMは、大語彙推論における連続フロー言語モデルを大幅に改善する。
  論文  参考訳（メタデータ） (2026-05-11T18:32:32Z)
• Dispersion Loss Counteracts Embedding Condensation and Improves Generalization in Small Language Models [55.908141398092646]
  大規模言語モデル(LLM)はパラメータ数の増加によって顕著な性能を達成するが、スケーリングは計算コストの急激な増加を招く。 本研究では,LLMと小型モデルの表現特性を再現することを目的として,LLMと小型モデルの表現特性の相違について検討する。 我々は、 $textttGPT2$ や $textttQwen3-0.6B$ のような小さなモデルは、深刻な凝縮を示し、 $textttGPT2-xl$ や $textttQwen3-32B のような大きなモデルは、
  論文  参考訳（メタデータ） (2026-01-30T16:07:03Z)
• The Diffusion Duality [24.39272541108744]
  一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。 カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。 本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
  論文  参考訳（メタデータ） (2025-06-12T16:55:35Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。