論文の概要: DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

• arxiv url: http://arxiv.org/abs/2602.01326v1
• Date: Sun, 01 Feb 2026 16:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.716244
• Title: DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas
• Title（参考訳）: DreamOn: 固定サイズのCanvasを超えるコード入力のための拡散言語モデル
• Authors: Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong,
• Abstract要約: 拡散言語モデル(Diffusion Language Models)は、設計を促さずに、フレキシブルで任意の順序で埋め込む。 動的可変長生成が可能な新しい拡散フレームワークDreamOnを提案する。 DreamOnはHumanEval-InfillingとSantaCoder-FIMの最先端の自己回帰モデルと同等のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 112.63572819873404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) present a compelling alternative to autoregressive models, offering flexible, any-order infilling without specialized prompting design. However, their practical utility is blocked by a critical limitation: the requirement of a fixed-length masked sequence for generation. This constraint severely degrades code infilling performance when the predefined mask size mismatches the ideal completion length. To address this, we propose DreamOn, a novel diffusion framework that enables dynamic, variable-length generation. DreamOn augments the diffusion process with two length control states, allowing the model to autonomously expand or contract the output length based solely on its own predictions. We integrate this mechanism into existing DLMs with minimal modifications to the training objective and no architectural changes. Built upon Dream-Coder-7B and DiffuCoder-7B, DreamOn achieves infilling performance on par with state-of-the-art autoregressive models on HumanEval-Infilling and SantaCoder-FIM and matches oracle performance achieved with ground-truth length. Our work removes a fundamental barrier to the practical deployment of DLMs, significantly advancing their flexibility and applicability for variable-length generation. Our code is available at https://github.com/DreamLM/DreamOn.
• Abstract（参考訳）: Diffusion Language Models (DLMs) は自動回帰モデルの魅力的な代替品であり、特別なプロンプト設計をせずに、柔軟で任意の順序で埋め込むことができる。 しかし、それらの実用性は、生成のための固定長マスキングシーケンスの要件である臨界制限によってブロックされている。 この制約は、事前定義されたマスクサイズが理想的な完了長と一致しない場合、コード入力性能を著しく低下させる。 そこで本稿では,動的可変長生成が可能な新しい拡散フレームワークDreamOnを提案する。 DreamOnは拡散過程を2つの長さ制御状態で拡張し、モデルが自身の予測に基づいて自動で出力長を拡大または縮小することを可能にする。 我々は、このメカニズムを既存のDLMに統合し、トレーニング目標に最小限の変更を加え、アーキテクチャの変更を加えない。 Dream-Coder-7BとDiffuCoder-7Bをベースとして開発されたDreamOnは、HumanEval-InfillingとSantaCoder-FIMの最先端の自己回帰モデルと同等の性能を達成し、地上構造で達成されたオラクルのパフォーマンスと一致する。 本研究は,DLMの実用的展開に対する基本的な障壁を取り除き,可変長生成への柔軟性と適用性を大幅に向上させるものである。 私たちのコードはhttps://github.com/DreamLM/DreamOnで利用可能です。

関連論文リスト

• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Dream-Coder 7B: An Open Diffusion Language Model for Code [99.14959222355988]
  そこで,Dream-Coder 7Bを提案する。Dream-Coder 7Bは,任意の順序生成能力を示すコード生成のための,オープンソースの離散拡散言語モデルである。 厳密に左から右にデコードする従来の自己回帰(AR)モデルとは異なり、ドリームコーダ7Bはコーディングタスクに基づいてデコード戦略を適応的に決定する。
  論文  参考訳（メタデータ） (2025-09-01T05:30:56Z)
• Dream 7B: Diffusion Large Language Models [85.26033751898296]
  これまでで最も強力なオープン拡散大言語モデルであるDream 7Bを紹介します。 我々のモデルは、一般的な、数学的、コーディングタスクにおいて、既存の拡散言語モデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-08-21T12:09:58Z)
• Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
  Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。 我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:55:04Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。