論文の概要: Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.19271v1
- Date: Tue, 13 Oct 2026 22:44:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.833802
- Title: Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models
- Title（参考訳）: 拡散言語モデルにおけるアウトカムロート蒸留と強化学習
- Abstract要約: 我々は,dLLMを混合する可能性のないパイプラインを開発した。
生徒のロールアウトがすべて失敗するが、教師が成功すると、モデルは生徒の気まぐれなキャンバスに密集したKLの監督を受ける。
- 参考スコア（独自算出の注目度）: 1.8303866360394607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation provides dense supervision on the student's own samples, but its targets still come from the teacher. Verifier reinforcement learning (RL) instead uses an outcome signal, but it provides no direct constraint on capabilities outside the verifier. Combining the two is difficult for diffusion language models (dLLMs), because bidirectional denoising makes the policy likelihoods required by ratio-based RL unreliable. We develop a likelihood-free pipeline for a mixture-of-experts dLLM. Each rollout group is routed by verifier outcome. Mixed groups use ratio-free, group-centred REINFORCE. If every student rollout fails but a teacher succeeds, the model receives dense KL supervision on the student's denoising canvases. All other groups are skipped. A KL term anchored to the distilled checkpoint limits changes outside the verifier reward. The tool-calling teacher succeeds on only 18.6% of the training prompts. At 24 denoising steps, distillation exceeds the teacher by 6.77 percentage points, and routing improves the distilled checkpoint by a further 18.31 points. Routing lowers reasoning-trace accuracy by 0.71 points but raises direct-answer accuracy on the same items by 13.21 points. The anchored arm restores trace accuracy. Its tool-calling score differs by -0.16 points, with a confidence interval that includes zero, although this comparison also removes a small fallback distillation route. A domain-conditional recipe retains a 16.37-point tool-calling gain; a second seed gives 18.23 points and reproduces both preservation results, but the math result is seed-dependent. We pre-registered every arm and evaluated each comparison on paired items in a single sweep on one machine.
- Abstract（参考訳）: オンライン蒸留は生徒自身のサンプルを集中的に管理するが、そのターゲットは教師から来ている。
検証者強化学習(RL)は結果信号を使用するが、検証者以外の能力に直接的な制約を与えない。
この2つを組み合わせることは拡散言語モデル(dLLM)では困難である。
我々は,dLLMを混合する可能性のないパイプラインを開発した。
各ロールアウトグループは検証結果によってルーティングされる。
混合グループは、比率のない、グループ中心のREINFORCEを使用する。
生徒のロールアウトがすべて失敗するが、教師が成功すると、モデルは生徒の気まぐれなキャンバスに密集したKLの監督を受ける。
他のすべてのグループはスキップされます。
蒸留されたチェックポイントに固定されたKL項は、検証者報酬の外側で変化する。
ツールコールの教師は、トレーニングプロンプトの18.6%しか成功していない。
24段目では、蒸留は教師の6.77ポイントを超え、さらに18.31ポイントで蒸留チェックポイントを改善する。
ルーティングは推論・トレースの精度を0.71ポイント低下させるが、同じ項目の直接回答の精度を13.21ポイント上昇させる。
固定アームは追跡精度を回復する。
ツールコールのスコアは、0を含む信頼区間で-0.16ポイント異なるが、この比較では小さなフォールバック蒸留経路も取り除かれる。
ドメイン条件のレシピは16.37点のツールコールゲインを保持し、第2のシードは18.23点を与え、両方の保存結果を再現するが、計算結果はシードに依存している。
我々は各アームを事前登録し、1台のマシンでペアアイテムの比較を行った。
関連論文リスト
- Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。
さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。
Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
論文 参考訳（メタデータ） (2026-10-08T08:52:55Z) - DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。
判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。
DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
論文 参考訳（メタデータ） (2026-10-01T17:59:01Z) - Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。
本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。
片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
論文 参考訳（メタデータ） (2026-09-21T05:55:08Z) - What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。
AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。
直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
論文 参考訳（メタデータ） (2026-09-17T15:57:10Z) - Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement [27.122890248991556]
オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習の希薄な結果レベルの利点の代替として、高密度トークンレベルの監督を提供する。
我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。
学習は低ログ確率トークンに焦点を合わせ, 教師が提案したトークンの性能に一致した1つの負の優位性を用いる。
論文 参考訳（メタデータ） (2026-08-31T16:22:10Z) - Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation [7.296659715681798]
検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。
SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
論文 参考訳（メタデータ） (2026-08-10T16:43:18Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners [34.39191083253229]
認識障害を識別するラベルフリー手法であるtextbfPerception-Correction Distillation (PCD) を導入する。
我々はベイズ証拠の組み合わせを通じてこのルールを動機付け、乗法がどちらの証人もいないときに消える唯一の正規化された双線型ゲートであることを示す。
論文 参考訳（メタデータ） (2026-07-30T15:03:55Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。