論文の概要: CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.13060v1
• Date: Fri, 11 Sep 2026 16:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.819591
• Title: CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models
• Title（参考訳）: CanvasAnneal:拡散言語モデルのためのカリキュラム強化学習
• Abstract要約: 本稿では,カリキュラム誘導拡散RLフレームワークCanvasAnnealを紹介する。 初回RL期には,教師が生成した推論トレースを拡散キャンバスに注入することにより,ウォームスタート探索を行う。 トレーニングが進むにつれて、このガイダンスを徐々に取り除き、モデルが独立して推論軌道を生成する必要がある。
• 参考スコア（独自算出の注目度）: 6.8972897741460315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) offer promising parallel generation capabilities but lag behind autoregressive models in complex reasoning and tool-use tasks. While Reinforcement Learning (RL) has recently been applied to enhance DLMs, standard RL approaches suffer from an exploration bottleneck. To address this, we inject reasoning priors from a stronger teacher model to guide RL exploration. In this paper, we introduce CanvasAnneal, a curriculum-guided diffusion RL framework. During the initial RL phase, we warm-start exploration by injecting teacher-generated reasoning traces into the initial diffusion canvas. As training progresses, we gradually remove this guidance and require the model to generate more of the reasoning trajectory independently. Across mathematical reasoning and tool-use benchmarks, CanvasAnneal improves over standard diffu-GRPO on MATH500, Countdown, and Tau2 and substantially accelerates reward improvement on several tasks, while gains are task-dependent. Our results suggest that structured training-time guidance can alleviate exploration bottlenecks in diffusion RL and speed up convergence on harder tasks.
• Abstract（参考訳）: Diffusion Language Models (DLM) は有望な並列生成機能を提供するが、複雑な推論やツール使用タスクでは自己回帰モデルに遅れがある。 強化学習(RL)は近年,DLMの強化に応用されているが,標準のRLアプローチは探索ボトルネックに悩まされている。 これを解決するために、より強力な教師モデルから推論先を注入し、RL探索を指導する。 本稿では,カリキュラム誘導拡散RLフレームワークCanvasAnnealを紹介する。 初回RL期には,初回拡散キャンバスに教師生成の推論トレースを注入し,ウォームスタート探索を行った。 トレーニングが進むにつれて、このガイダンスを徐々に取り除き、モデルが独立して推論軌道を生成する必要がある。 MATH500、Countdown、Tau2の標準diffu-GRPOよりも数学的な推論とツール使用ベンチマークが向上し、ゲインがタスク依存であるのに対して、いくつかのタスクでの報酬改善が大幅に加速する。 以上の結果から,構造的学習時間指導は拡散RLの探索ボトルネックを緩和し,より困難なタスクの収束を早めることが示唆された。

関連論文リスト

• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• Tailored Primitive Initialization is the Secret Key to Reinforcement Learning [61.29280885291581]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 多様な,高品質な推論プリミティブによるLLMの初期化は,安定かつサンプル効率のよいRLトレーニングを実現する上で不可欠である,と我々は主張する。 そこで我々は,新しい推論プリミティブを自動的に発見し,キュレートする微調整パイプラインであるTailorを提案する。
  論文  参考訳（メタデータ） (2025-11-16T03:12:40Z)
• A Survey of Reinforcement Learning for Large Reasoning Models [98.58081012669369]
  大規模言語モデルによる推論のための強化学習の最近の進歩について LRMのためのRLのさらなるスケーリングは、計算資源だけでなく、アルゴリズム設計、トレーニングデータ、インフラにおいても課題に直面している。
  論文  参考訳（メタデータ） (2025-09-10T17:59:43Z)
• Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning [58.62311540316617]
  強化学習(RL)による言語モデルの推論能力の向上を目指す。 我々は,LLMが徐々に推論スキルを構築できるように,タスクを簡単から困難(E2H)にスケジュールすることを提案する。 E2H Reasonerは小型LLM(1.5B〜3B)の推論能力を著しく改善する
  論文  参考訳（メタデータ） (2025-06-07T02:41:54Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• Diffusion Models for Reinforcement Learning: A Survey [22.670096541841325]
  拡散モデルは、サンプルの品質と訓練安定性において、以前の生成モデルを上回る。 最近の研究は、強化学習(RL)ソリューションの改善における拡散モデルの利点を示している。 この調査は、この新興分野の概要を提供し、新たな研究の道のりを刺激することを目的としている。
  論文  参考訳（メタデータ） (2023-11-02T13:23:39Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
  分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。 ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
  論文  参考訳（メタデータ） (2020-01-20T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。