論文の概要: Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One
- arxiv url: http://arxiv.org/abs/2609.04531v1
- Date: Thu, 03 Sep 2026 22:42:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.844099
- Title: Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One
- Title（参考訳）: 蒸留された連続拡散言語モデルは、いくつかのステップでコードを書ける--または1
- Abstract要約: コード生成のための0.7B連続拡散言語モデルであるPlaidQを紹介する。
以上の結果から,PlaidQの軌道は数段階にのみ積極的に蒸留できることが示唆された。
これらの結果は、数ステップのコード生成と1ステップのコード生成への実行可能なパスとして、継続的拡散を確立します。
- 参考スコア（独自算出の注目度）: 16.38284188874483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language generation is almost universally treated as a sequential process: autoregressive models emit one token at a time, while diffusion language models replace token-level seriality with a long trajectory of iterative refinement. In this work, we introduce PlaidQ, a 0.7B continuous diffusion language model for code generation, and show that its trajectory can be aggressively distilled into only a few denoising steps---or even one, enabling efficient code generation. PlaidQ repurposes a pretrained autoregressive model as a bidirectional denoiser over continuous token embeddings. We distill PlaidQ with distribution matching for few-step generation and paired-trajectory supervision for one-step generation. At matched model scale, PlaidQ is competitive with discrete diffusion language models on code generation. Distillation then shifts the quality--compute frontier: a 16-step student reaches 31.78 and 40.49 pass@10 on HumanEval and MBPP+, surpassing the same PlaidQ teacher sampled for 512 steps. At the extreme, paired-trajectory distillation achieves 7.07 pass@1 on HumanEval with a single denoising step, producing functionally correct programs. Together, these results establish continuous diffusion as a viable path to few-step and one-step code generation. Broadly, continuous diffusion is not merely another representation for language: it provides an interface through which language models can inherit the acceleration and distillation machinery of continuous diffusion modeling. Training and inference code and model checkpoints are available at https://github.com/pengzhangzhi/plaidq.
- Abstract（参考訳）: 自動回帰モデルは一度に1つのトークンを出力し、拡散言語モデルはトークンレベルのシリアリティを反復的な改善の長い軌跡に置き換える。
本研究では,コード生成のための0.7B連続拡散言語モデルであるPlaidQを導入し,その軌道を数ステップにアグレッシブに蒸留できることを示す。
PlaidQは、事前訓練された自己回帰モデルを、連続トークンの埋め込みに対する双方向デノイザとして再利用する。
数ステップ生成のための分布マッチングと1ステップ生成のためのペア軌道監視を併用したPlaidQを蒸留する。
一致するモデルスケールでは、PlaidQはコード生成における離散拡散言語モデルと競合する。
16ステップの学生がHumanEvalとMBPP+で31.78と40.49パス@10に達し、512ステップでサンプルされた同じPlaidQの教師を上回る。
極端に、ペア軌道蒸留はHumanEvalで7.07パス@1を達成する。
これらの結果は、数ステップのコード生成と1ステップのコード生成への実行可能なパスとして、継続的拡散を確立します。
言語モデルが連続拡散モデリングの加速と蒸留機械を継承できるインターフェースを提供する。
トレーニングコードとモデルチェックポイントはhttps://github.com/pengzhangzhi/plaidq.comで公開されている。
関連論文リスト
- AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling [51.39835770694148]
拡散言語モデルは本質的にデコードされたトークン間の相関を捉えない。
3つの成分を持つマスク付き拡散言語モデルの変種であるDiLaDiffを提案する。
論文 参考訳（メタデータ） (2026-05-22T13:15:59Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling [39.014850192441656]
連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、離散的な言語モデルよりも遅れている。
LangFlowは、組み込み空間のDLMを、Bregmanの発散を介してFlow Matchingに接続する。
LangFlowはperplexity (PPL) とgenerative perplexity (Gen. PPL) の両方で上位のDLMと競合する
7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。
論文 参考訳（メタデータ） (2026-04-13T17:21:41Z) - One-step Language Modeling via Continuous Denoising [36.18484491074519]
本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。
我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
論文 参考訳（メタデータ） (2026-02-18T19:23:07Z) - Transition Matching Distillation for Fast Video Generation [63.1049790376783]
本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。
TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。
TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
論文 参考訳（メタデータ） (2026-01-14T21:30:03Z) - Continuous Autoregressive Language Models [56.49239051750678]
我々はCALM(Continuous Autoregressive Language Models)を紹介する。
CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。
我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
論文 参考訳（メタデータ） (2025-10-31T17:58:11Z) - FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models [6.463102424844334]
FS-DFM, Few-Step Discrete Flow-Matchingを紹介する。
品質を犠牲にすることなく高速に設計された離散フローマッチングモデル。
言語モデリングベンチマークでは、8つのサンプリングステップを持つFS-DFMが1,024ステップの離散フローベースラインでパープレキシティパリティを達成する。
論文 参考訳（メタデータ） (2025-09-24T23:59:05Z) - The Diffusion Duality [24.39272541108744]
一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。
カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。
本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
論文 参考訳（メタデータ） (2025-06-12T16:55:35Z) - FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。
最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。
我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
論文 参考訳（メタデータ） (2025-05-27T17:39:39Z) - DiffusionBERT: Improving Generative Masked Language Models with
Diffusion Models [81.84866217721361]
DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。
本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。
非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-11-28T03:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。