論文の概要: LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

• arxiv url: http://arxiv.org/abs/2604.11748v1
• Date: Mon, 13 Apr 2026 17:21:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.713526
• Title: LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
• Title（参考訳）: LangFlow: 言語モデリングにおける継続的拡散の相違
• Authors: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu,
• Abstract要約: LangFlowは、離散拡散に対抗した最初の連続言語モデルである。 ベンチマーク全体で強力なパフォーマンスを実現し、LM1Bでは30.0、OpenWebTextでは24.6のパープレキシティ(PPL)に達した。
• 参考スコア（独自算出の注目度）: 39.014850192441656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion models have achieved strong performance across domains such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion. Our approach connects embedding-space DLMs to Flow Matching via Bregman divergence and introduces three key innovations: (1) a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) an information-uniform principle for noise scheduling, motivating a learnable scheduler based on a Gumbel distribution; and (3) an improved training protocol incorporating self-conditioning, which enhances both likelihood and sample quality.LangFlow achieves strong performance across benchmarks, reaching a perplexity (PPL) of 30.0 on LM1B and 24.6 on OpenWebText. It matches top discrete DLMs at comparable scale and surpasses autoregressive baselines in zero-shot transfer across multiple benchmarks. LangFlow provides clear evidence that continuous diffusion is a competitive and promising paradigm for language modeling. https://github.com/nealchen2003/LangFlow
• Abstract（参考訳）: 連続拡散モデルは画像などの領域間で強い性能を達成している。 しかし、言語モデリングでは、先行連続拡散言語モデル(DLM)は独立した言語よりも遅れている。 本研究では、離散拡散に対抗した最初の連続DLMであるLangFlowと、このギャップを埋める。 提案手法は,Bregman の発散によるフローマッチングに結合し,(1) 連続フローベース言語モデルの原理的評価のための新しいODEベースのNLL,(2) ノイズスケジューリングのための情報一様原理,Gumbel 分布に基づく学習可能なスケジューラのモチベーション,(3) セルフコンディショニングを取り入れた学習プロトコルの改良など,3つの重要なイノベーションを導入する。LangFlow はベンチマーク間で高い性能を実現し,LM1B と OpenWebText 上で30.0 のパープレキシティ (PPL) に達する。 上位の離散DLMと同等のスケールで一致し、複数のベンチマークでゼロショット転送において自己回帰ベースラインを超える。 LangFlowは、継続的拡散が言語モデリングの競争力があり有望なパラダイムである、という明確な証拠を提供する。 https://github.com/nealchen2003/LangFlow

関連論文リスト

• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
  拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。 最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。 本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:04Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Discrete Diffusion Models for Language Generation [0.0]
  本論文は、自然言語生成のための離散拡散モデルの実現可能性と性能について考察する。 我々は、生成性能を評価するためにBits Per Token(BPT)、Negative Log-Likelihood(NLL)、Perplexity(PPL)、Batch Processing Speedを使用します。 ARモデルは平均BPTが4.59で圧縮性能が向上するが、D3PMは処理速度が向上し、毎秒3.97バッチに達する。
  論文  参考訳（メタデータ） (2025-07-02T23:43:02Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。