論文の概要: LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

• arxiv url: http://arxiv.org/abs/2604.11748v3
• Date: Wed, 15 Apr 2026 16:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 13:09:57.448984
• Title: LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
• Title（参考訳）: LangFlow: 言語モデリングにおける継続的拡散の相違
• Authors: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu,
• Abstract要約: 連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、離散的な言語モデルよりも遅れている。 LangFlowは、組み込み空間のDLMを、Bregmanの発散を介してFlow Matchingに接続する。 LangFlowはperplexity (PPL) とgenerative perplexity (Gen. PPL) の両方で上位のDLMと競合する 7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。
• 参考スコア（独自算出の注目度）: 39.014850192441656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow
• Abstract（参考訳）: 連続拡散は、画像のような多くのデータモダリティの高忠実さ、制御可能、および数段階の生成の基礎となっている。 しかし、言語モデリングにおいて、事前連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、個別の言語モデルよりも遅れている。 本研究では,(1)連続的フローベース言語モデルの原理的評価に縛られた新しいODEベースのNLLを導出する,(2)Gumbel分布に基づく学習可能なノイズスケジューラを設定するための情報一様原理を提案する,(3)自己条件を取り入れた事前トレーニングプロトコルを改訂する,という3つの重要なイノベーションとともに,埋め込み空間DLMをBregman分散によるフローマッチングに接続することで,離散拡散に対抗できる最初の連続DLMであるLangFlowとのギャップを埋める。 すべてをまとめると、LangFlowはPerplexity(PPL)とGenerative Perplexity(PPL)の両方で上位のDLMと競合し、LM1Bで30.0、OpenWebTextで24.6に達した。 7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。 LangFlowは、継続的拡散が言語モデリングにとって有望なパラダイムであることを示す最初の明確な証拠を提供する。 ホームページ:https://github.com/nealchen2003/LangFlow

関連論文リスト

• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
  拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。 最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。 本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:04Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Discrete Diffusion Models for Language Generation [0.0]
  本論文は、自然言語生成のための離散拡散モデルの実現可能性と性能について考察する。 我々は、生成性能を評価するためにBits Per Token(BPT)、Negative Log-Likelihood(NLL)、Perplexity(PPL)、Batch Processing Speedを使用します。 ARモデルは平均BPTが4.59で圧縮性能が向上するが、D3PMは処理速度が向上し、毎秒3.97バッチに達する。
  論文  参考訳（メタデータ） (2025-07-02T23:43:02Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。