論文の概要: One-step Language Modeling via Continuous Denoising

• arxiv url: http://arxiv.org/abs/2602.16813v1
• Date: Wed, 18 Feb 2026 19:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.306423
• Title: One-step Language Modeling via Continuous Denoising
• Title（参考訳）: 継続的Denoisingによるワンステップ言語モデリング
• Authors: Chanhyuk Lee, Jaehoon Yoo, Manan Agarwal, Sheel Shah, Jerry Huang, Aditi Raghunathan, Seunghoon Hong, Nicholas M. Boffi, Jinwoo Kim,
• Abstract要約: 本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
• 参考スコア（独自算出の注目度）: 36.18484491074519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models based on discrete diffusion have attracted widespread interest for their potential to provide faster generation than autoregressive models. In practice, however, they exhibit a sharp degradation of sample quality in the few-step regime, failing to realize this promise. Here we show that language models leveraging flow-based continuous denoising can outperform discrete diffusion in both quality and speed. By revisiting the fundamentals of flows over discrete modalities, we build a flow-based language model (FLM) that performs Euclidean denoising over one-hot token encodings. We show that the model can be trained by predicting the clean data via a cross entropy objective, where we introduce a simple time reparameterization that greatly improves training stability and generation quality. By distilling FLM into its associated flow map, we obtain a distilled flow map language model (FMLM) capable of few-step generation. On the LM1B and OWT language datasets, FLM attains generation quality matching state-of-the-art discrete diffusion models. With FMLM, our approach outperforms recent few-step language models across the board, with one-step generation exceeding their 8-step quality. Our work calls into question the widely held hypothesis that discrete diffusion processes are necessary for generative modeling over discrete modalities, and paves the way toward accelerated flow-based language modeling at scale. Code is available at https://github.com/david3684/flm.
• Abstract（参考訳）: 離散拡散に基づく言語モデルは、自己回帰モデルよりも高速な生成を提供する可能性に対して、広く関心を集めている。 しかし実際には、いくつかの段階においてサンプルの品質の急激な低下を示しており、この約束を達成できなかった。 ここでは,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 離散モード上のフローの基本を再考することにより、フローベース言語モデル(FLM)を構築し、1ホットトークンの符号化をユークリッドで復調する。 本研究では,クロスエントロピー目標を用いてクリーンデータを予測し,トレーニング安定性と生成品質を大幅に向上させる簡易な時間パラメータ化を導入することにより,モデルをトレーニング可能であることを示す。 FLMを関連するフローマップに蒸留することにより、少数のステップ生成が可能な蒸留フローマップ言語モデル(FMLM)を得る。 LM1BとOWT言語データセットでは、FLMは最先端の離散拡散モデルに適合する生成品質が得られる。 FMLMでは、我々のアプローチは最近の数ステップの言語モデルよりも優れており、ワンステップ生成は8ステップのクオリティを上回っています。 我々の研究は、離散拡散過程は離散的モダリティに対する生成的モデリングに必要であるという広く支持されている仮説に疑問を投げかけ、大規模にフローベース言語モデリングを加速させる道を開く。 コードはhttps://github.com/david3684/flm.comから入手できる。

関連論文リスト

• Towards Latent Diffusion Suitable For Text [7.293508593001522]
  NFDMの拡張である言語生成のためのニューラルフロー拡散モデルを導入し、離散状態空間への連続拡散モデルの直接適用を可能にする。 本モデルでは, 従来の潜伏拡散モデルに匹敵する試料品質を達成しつつ, 自己回帰モデルと同一サイズの自己回帰モデルとの差を大幅に低減する。
  論文  参考訳（メタデータ） (2026-01-07T20:50:59Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Likelihood-Based Diffusion Language Models [13.916640262862215]
  自己回帰型言語モデルと拡散型言語モデルとのギャップを埋める第一歩を踏み出す。 我々は、アルゴリズムの改善、法則のスケーリング、計算量の増加を通じて、この目標を追求する。 我々はGPT-2 124Mをベンチマークデータセットで上回る大きな拡散言語モデルであるPlaid 1Bをリリースする。
  論文  参考訳（メタデータ） (2023-05-30T16:43:31Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。