論文の概要: DreamReasoner-8B: Block-Size Curriculum Learning for Diffusion Reasoning Models

• arxiv url: http://arxiv.org/abs/2606.19257v1
• Date: Wed, 17 Jun 2026 16:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.272012
• Title: DreamReasoner-8B: Block-Size Curriculum Learning for Diffusion Reasoning Models
• Title（参考訳）: DreamReasoner-8B:拡散推論モデルのためのブロックサイズのカリキュラム学習
• Authors: Zirui Wu, Lin Zheng, Jiacheng Ye, Shansan Gong, Xueliang Zhao, Yansong Feng, Wei Bi, Lingpeng Kong,
• Abstract要約: 我々は,オープンソースのブロック拡散推論モデルであるDreamReasoner-8Bを開発した。 我々の分析では、大きなブロックサイズでのトレーニングは、非常に不十分な推論をもたらすという、パフォーマンスの相違が明らかになっている。 本稿では,より粒度の細かいブロックサイズから粗いブロックサイズに段階的に移行したブロックサイズのカリキュラム学習を提案する。
• 参考スコア（独自算出の注目度）: 82.86749180125919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Block diffusion language models accelerate decoding through parallel block-wise denoising, yet whether they can be reliably scaled for long chain-of-thought (CoT) reasoning remains unresolved. To this end, we develop DreamReasoner-8B, an open-source block diffusion reasoning model, and conduct a systematic study of how training and inference block sizes affect long-CoT reasoning. Our analysis reveals a stark performance disparity: training with large block sizes yields remarkably poor reasoning, whereas small block sizes preserve effective reasoning. To bridge this granularity gap, we propose block-size curriculum learning, which gradually transitions training from fine-grained to coarse-grained block sizes, thereby overcoming this limitation and enabling strong reasoning performance that generalizes across diverse inference block sizes. On mathematical and code reasoning benchmarks, DreamReasoner-8B achieves results competitive with leading open autoregressive models such as Qwen3-8B. This work establishes a practical foundation for efficient, reasoning-capable diffusion language models. We release our model at https://github.com/DreamLM/DreamReasoner.
• Abstract（参考訳）: ブロック拡散言語モデルは、並列ブロックワイズによるデコーディングを加速するが、長いチェーン・オブ・シークレット(CoT)推論のために確実にスケールできるかどうかは未解決のままである。 そこで我々は,オープンソースのブロック拡散推論モデルであるDreamReasoner-8Bを開発した。 我々の分析では,大きなブロックサイズでのトレーニングは極めて不十分な推論をもたらすが,小さなブロックサイズは効果的な推論を保っている。 この粒度ギャップを埋めるため,より粒度が粗いブロックサイズに徐々に移行し,この制限を克服し,多様な推論ブロックサイズにまたがって一般化する強力な推論性能を実現するブロックサイズカリキュラム学習を提案する。 数学的およびコード推論のベンチマークでは、DreamReasoner-8BはQwen3-8Bのようなオープンな自己回帰モデルと競合する結果を得る。 この研究は、効率的な推論可能な拡散言語モデルのための実践的な基盤を確立する。 私たちは、https://github.com/DreamLM/DreamReasoner.comでモデルをリリースします。

関連論文リスト

• Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning [41.859993506122194]
  固定サイズのブロック世代は、効果的で一貫性のある推論にとって重要なボトルネックである。 本稿では,モノトニック・エントロピー・ディフレキティブ(モノトニック・エントロピー・ディフレキティブ)を用いて動的サイズ推論ブロックを学習する,dLLMのための新しい学習後フレームワークb1を提案する。
  論文  参考訳（メタデータ） (2026-05-04T06:17:49Z)
• Advancing Block Diffusion Language Models for Test-Time Scaling [73.54022593833638]
  BDLMにおけるテスト時間スケーリングのための統一的なフレームワークを提案する。 復号化とブロックワイズ生成の両方に適応性を導入する。 BACD, TCCFをTDAR-8Bに適用すると, 強いベースラインよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2026-02-10T09:05:07Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models [15.853201399662344]
  拡散言語モデルは自己回帰モデルよりも独特な利点を提供する。 確率モデリングに遅れがあり、固定長生成に制限される。 本稿では,離散化拡散モデルと自己回帰モデルとを補間するブロック拡散言語モデルについて紹介する。
  論文  参考訳（メタデータ） (2025-03-12T17:43:40Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。