論文の概要: The Generative Gap Between Speculative Drafter and Continuous Diffusion Language Model

• arxiv url: http://arxiv.org/abs/2610.40847v1
• Date: Thu, 29 Oct 2026 18:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.469202
• Title: The Generative Gap Between Speculative Drafter and Continuous Diffusion Language Model
• Title（参考訳）: 投機的投機と連続拡散言語モデルの間の生成ギャップ
• Abstract要約: 連続拡散言語モデル(CDLM)と投機的ドラフトラは効率的な言語生成を提供するが、異なる評価がなされる。 検証なしでアーキテクチャを比較し、CDLMにLangFlowを使用し、スタンドアロン世代にDSparkのMarkovとrecurrent-headアーキテクチャを適用する。
• 参考スコア（独自算出の注目度）: 25.324133131129006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion language models (CDLMs) and speculative drafters offer efficient language generation but are typically evaluated differently: CDLMs generate independently through iterative refinement, whereas drafters propose text for target-model verification and correction. We compare their architectures without verification, using LangFlow for CDLMs and adapting DSpark's Markov and recurrent-head architectures for standalone generation. All models are trained from scratch for unconditional, single-block OpenWebText generation at lengths 16, 128, and 1024, without target features or verification, using common preprocessing, backbone dimensions, and training-update budgets. We evaluate generation perplexity (GenPPL) with an external language model and distributional similarity to reference text with MAUVE. With default denoising steps equal to sequence length, LangFlow outperforms both DSpark variants on both metrics at lengths 128 and 1024, while DSpark-RNN leads at 16. A conditional KL analysis characterizes dependencies excluded by the Markov head's previous-token conditioning. Recurrent memory removes this restriction and improves both metrics, but the longer-sequence gap persists. Teacher probability matching further lowers Markov GenPPL without observed MAUVE gains. Increasing LangFlow's denoising steps at fixed weights improves both metrics at lengths 16 and 128, changing the length-128 ordering relative to DSpark-RNN. These results establish LangFlow's longer-sequence advantage under the evaluated budgets and highlight iterative full-sequence refinement as a route to improving standalone generation beyond gains from recurrent head memory.
• Abstract（参考訳）: 連続拡散言語モデル(CDLM)と投機的ドラフトラは効率的な言語生成を提供するが、典型的には異なる評価がなされる。 検証なしでアーキテクチャを比較し、CDLMにLangFlowを使用し、スタンドアロン世代にDSparkのMarkovとrecurrent-headアーキテクチャを適用する。 すべてのモデルは、共通の前処理、バックボーン寸法、トレーニング更新予算を使用して、ターゲット機能や検証なしで、長さ16、128、1024で、無条件でシングルブロックのOpenWebText生成のためにスクラッチからトレーニングされる。 生成パープレキシティ(GenPPL)を外部言語モデルとMAUVEによる参照テキストとの分布類似性で評価する。 デフォルトの denoising ステップがシーケンス長に等しいため、LangFlow は、DSpark-RNN が 16 でリードするのに対し、DSpark-RNN は 2 つのメトリクスで 128 と 1024 で、両方の DSpark 変種を上回ります。 条件付きKL解析はマルコフヘッドの以前の条件付けから除外された依存関係を特徴付ける。 リカレントメモリは、この制限を取り除き、両方のメトリクスを改善するが、長いシーケンスギャップは持続する。 教師の確率マッチングは、観察されたMAUVEゲインを伴わずにMarkov GenPPLをさらに低下させる。 固定重量でのLangFlowのデノイングステップの増加は、両方のメトリクスを16と128で改善し、DSpark-RNNと比較して長さ128の順序を変更する。 これらの結果は、評価された予算の下でLangFlowの長いシーケンスのアドバンテージを確立し、繰り返し発生するメモリからのゲインを超えてスタンドアロン生成を改善するためのルートとして、反復的なフルシーケンスの洗練を強調します。

関連論文リスト

• Rectified Language Flow [9.00515911221295]
  本稿では,正規化フローを用いたトークン埋め込みにノイズを伝達してテキストを生成する言語モデルであるRectified Language Flow(ReLF)を提案する。 OpenWebText上で64の関数評価を行うと、ReLFは一致した多様性における自己回帰ベースラインよりも、生成の難易度が低い。 ReLFは16の関数評価で自己回帰ベースラインを上回り、バッチサイズ1では1,024のシークエンスを15～19倍高速に生成する。
  論文  参考訳（メタデータ） (2026-10-24T17:16:49Z)
• Designing Transformers for Continuous Diffusion Language Models [25.324133131129006]
  LangDiTは、マッチしたLangFlow比較における生成パープレキシティを著しく低減する。 プラグアンドプレイバックボーンとしてのLangDiTは、21.72の世代パープレキシティ(GenPPL)を1024のNFEと44.72のGenPPLを128のNFEで使用する新しい最先端モデルへと導いた。 プラスミド型CDLMに適合すると、LangDiTは1024個のNFEを用いて11.33個の新しいリードGenPPL、27.51個のNFEを128個のNFEを用いて生成する。
  論文  参考訳（メタデータ） (2026-10-15T17:52:31Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion [14.692250535148196]
  拡散言語モデル(DLM)は並列で順序に依存しない生成を約束するが、歴史的にはサンプルの品質と多様性において自己回帰モデルに遅れを取ってきた。 トークン埋め込みに対する最近の連続流れと拡散アプローチは、このギャップを狭め、連続状態空間が言語に非常に有効であることを示唆している。 本研究では,テキストを固定幅のバイナリビットストリーム上での連続拡散プロセスとしてモデル化することにより,自己回帰的ギャップをさらに埋める。
  論文  参考訳（メタデータ） (2026-05-07T22:50:51Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。