論文の概要: Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2509.06949v1
• Date: Mon, 08 Sep 2025 17:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.30449
• Title: Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models
• Title（参考訳）: 拡散大言語モデルのための革新的強化学習フレームワーク
• Authors: Yinjie Wang, Ling Yang, Bowen Li, Ye Tian, Ke Shen, Mengdi Wang,
• Abstract要約: TraceRLは拡散言語モデル(DLM)のための軌道対応強化学習フレームワークである 我々は最先端の拡散言語モデル、すなわち TraDo を導出する。 TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 49.911784762244814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose TraceRL, a trajectory-aware reinforcement learning framework for diffusion language models (DLMs) that incorporates preferred inference trajectory into post-training, and is applicable across different architectures. Equipped with a diffusion-based value model that enhances training stability, we demonstrate improved reasoning performance on complex math and coding tasks. Besides, it can also be applied to adapt block-specific models to larger blocks, which improves sampling flexibility. Employing TraceRL, we derive a series of state-of-the-art diffusion language models, namely TraDo. Although smaller than 7B-scale AR models, TraDo-4B-Instruct still consistently outperforms them across complex math reasoning tasks. TraDo-8B-Instruct achieves relative accuracy improvements of 6.1% over Qwen2.5-7B-Instruct and 51.3% over Llama3.1-8B-Instruct on mathematical reasoning benchmarks. Through curriculum learning, we also derive the first long-CoT DLM, outperforming Qwen2.5-7B-Instruct on MATH500 with an 18.1% relative accuracy gain. To facilitate reproducible research and practical applications, we release a comprehensive open-source framework for building, training, and deploying diffusion LLMs across diverse architectures. The framework integrates accelerated KV-cache techniques and inference engines for both inference and reinforcement learning, and includes implementations of various supervised fine-tuning and RL methods for mathematics, coding, and general tasks. Code and Models: https://github.com/Gen-Verse/dLLM-RL
• Abstract（参考訳）: 提案するTraceRLは拡散言語モデル(DLM)のためのトラジェクトリ対応強化学習フレームワークで,予測軌道をポストトレーニングに組み込んで,異なるアーキテクチャに適用できる。 学習安定性を向上させる拡散型値モデルを用いて,複雑な数学やコーディングタスクにおける推論性能の向上を実証する。 さらに、ブロック固有のモデルを大きなブロックに適応させることもできるため、サンプリングの柔軟性が向上する。 TraceRLを利用することで、最先端の拡散言語モデル、すなわち TraDo を導出する。 7BスケールのARモデルよりは小さいが、TraDo-4B-Instructは複雑な数学推論タスクよりも一貫して優れている。 TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。 カリキュラム学習を通じて,MATH500上でQwen2.5-7B命令を18.1%の精度で上回り,最初の長CoT DLMを導出する。 再現性のある研究と実用的応用を容易にするため,多種多様なアーキテクチャにまたがる拡散LDMの構築,トレーニング,展開を行う,包括的なオープンソースフレームワークをリリースする。 このフレームワークは、推論と強化学習の両方のための加速KV-cache技術と推論エンジンを統合し、数学、コーディング、一般的なタスクのための様々な教師付き微調整とRLメソッドの実装を含む。 コードとモデル:https://github.com/Gen-Verse/dLLM-RL

関連論文リスト

• MiroMind-M1: An Open-Source Advancement in Mathematical Reasoning via Context-Aware Multi-Stage Policy Optimization [74.04867639197445]
  MiroMind-M1 は Qwen-2.5 ベースのベンチマーク上に構築された完全なオープンソース RLM のセットである。 我々のモデルは2つの段階で訓練されている: SFT on a carefully curated corpus of 719K math-reasoning problem with confirmed CoT trajectories, then RLVR on 62K challenge and verible problem。
  論文  参考訳（メタデータ） (2025-07-19T16:21:23Z)
• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Advancing Multimodal Reasoning via Reinforcement Learning with Cold Start [24.244577648817188]
  アハモーメント」パターンは強化学習(RL)の創発的特性に起因することが多い 本稿では,2段階アプローチによるマルチモーダル推論の強化に関する総合的研究について述べる。 実験の結果,この組み合わせはSFTのみの手法とRLのみの手法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2025-05-28T13:21:38Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。