論文の概要: Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation

• arxiv url: http://arxiv.org/abs/2610.12898v1
• Date: Fri, 09 Oct 2026 02:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.359076
• Title: Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation
• Title（参考訳）: 拡散とデコードの役割を再考する:並列言語生成のための予測状態フロー
• Abstract要約: 連続拡散言語モデルでは、拡散先行によって生成される潜水剤はほとんど決定論的にトークンにマッピングされる。 ブロックにシーケンスを分割し、各ブロックを前回のコンテキストからのみ計算された予測状態に関連付ける予測状態フローを導入する。 この設計は、Lトークンレベル状態からKL予測状態への拡散を減少させ、L/Kへのトークンレベルシーケンシャル深さを減少させる。
• 参考スコア（独自算出の注目度）: 12.46748794254694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In continuous diffusion language models (DLMs), latents generated by the diffusion prior are mapped almost deterministically to tokens, either by a decoder or through a token embedding matrix. Unlike in image generation, where visual details can vary continuously, the diffusion prior must capture fine-grained discrete token choices in continuous space, which can make the joint latent distribution difficult to model. We argue that generative roles should instead be divided: the diffusion prior should generate high-level predictive information, while the decoder should resolve the remaining token-level choices. Based on this view, we introduce Predictive-State Flows (PSF), which partitions a sequence into blocks and associates each block with a predictive state computed solely from the preceding context. A rectified-flow prior generates the sequence of predictive states, after which a block-causal decoder generates all blocks in parallel, autoregressively only within each block. This design reduces diffusion from L token-level states to K << L predictive states and reduces token-level sequential depth to L/K. On unconditional OpenWebText generation, a 197M-parameter model with K=8 achieves a generative perplexity of 22.8 at entropy 5.16 using 0.31 TFLOPs per 1024-token document, versus 24.0 and 7.2 TFLOPs for ELF-B with 32 sampling steps. The corresponding measured operating points yield MAUVE@512 of 0.93 and 0.73, respectively. Controlled comparisons further show that content states, which additionally encode their own blocks, yield 8-16% higher generative perplexity than predictive states, and that replacing sampled predictive-state trajectories with a shared mean lowers MAUVE@512 by 0.11. These results suggest that latent design for continuous DLMs should consider not only how compactly text is represented, but also how generative roles are divided between the prior and the decoder.
• Abstract（参考訳）: 連続拡散言語モデル(DLMs)では、拡散先行によって生成される潜伏子はデコーダまたはトークン埋め込み行列によってほぼ決定的にトークンにマッピングされる。 視覚的詳細が連続的に変化する画像生成とは異なり、拡散前の拡散は連続空間におけるきめ細かい離散トークンの選択を捉えなければならない。 拡散前は高いレベルの予測情報を生成すべきであり、デコーダは残るトークンレベルの選択を解決すべきである。 この観点から、予測状態フロー(PSF)を導入し、シーケンスをブロックに分割し、各ブロックを前回のコンテキストからのみ計算した予測状態に関連付ける。 整流前は予測状態のシーケンスを生成し、その後、ブロック因果デコーダは、各ブロック内でのみ自動回帰的に全てのブロックを並列に生成する。 この設計は、Lトークンレベル状態からK<<<L予測状態への拡散を減少させ、トークンレベルシーケンシャル深さをL/Kに減少させる。 非条件のOpenWebText生成では、K=8の197Mパラメータモデルでは、32ステップのELF-Bでは0.31 TFLOP、32ステップのELF-Bでは7.2 TFLOPを使用して、エントロピー5.16で22.8の生成パープレキシティを実現する。 対応する演算点はそれぞれ0.93と0.73のMAUVE@512を得る。 制御された比較では、自身のブロックを付加的にエンコードするコンテンツ状態は、予測状態よりも8-16%高い生成的パープレキシティを示し、サンプル化された予測状態軌跡を共有平均で置き換えるとMAUVE@512を0.11に下げる。 これらの結果は、連続DLMの潜在設計は、いかにコンパクトなテキストが表現されるかだけでなく、生成的役割が先行と復号器の間でどのように分割されるかを考える必要があることを示唆している。

関連論文リスト

• Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling [4.873082097238421]
  拡散言語モデル(DLM)は、順序に依存しない並列テキスト生成の約束を保持する。 H-CDLM(Hierarchical Continuous Diffusion Language Models:階層型連続拡散言語モデル)を導入する。 データセットエントロピーでは、H-CoBitはMAUVEを改善し、LM1Bで49.4、OWTで50.4の生成パープレキシティ(GenPPL)に到達し、ベースラインを24.2と20.7ポイント改善し、同じ大きさのDLMも上回っている。
  論文  参考訳（メタデータ） (2026-10-06T17:38:19Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings [12.564043065639177]
  埋め込み型フローベースLMである textbfConvergeFlow を紹介する。 適切な規則性条件下では、結果のフローがデータ予測器のエラーにもかかわらず有効なトークン埋め込みに収束することが証明される。 OpenWebTextの実験では、ConvergeFlowが既存の連続および離散拡散LMと競合するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-24T17:54:14Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion [14.692250535148196]
  拡散言語モデル(DLM)は並列で順序に依存しない生成を約束するが、歴史的にはサンプルの品質と多様性において自己回帰モデルに遅れを取ってきた。 トークン埋め込みに対する最近の連続流れと拡散アプローチは、このギャップを狭め、連続状態空間が言語に非常に有効であることを示唆している。 本研究では,テキストを固定幅のバイナリビットストリーム上での連続拡散プロセスとしてモデル化することにより,自己回帰的ギャップをさらに埋める。
  論文  参考訳（メタデータ） (2026-05-07T22:50:51Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。