論文の概要: Learning from the Self-future: On-policy Self-distillation for dLLMs

• arxiv url: http://arxiv.org/abs/2606.18195v1
• Date: Tue, 16 Jun 2026 17:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.576679
• Title: Learning from the Self-future: On-policy Self-distillation for dLLMs
• Title（参考訳）: 自己未来から学ぶ:dLLMのオンライン自己蒸留
• Authors: Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu,
• Abstract要約: 私たちは、dLLM用に調整された最初のOPSDフレームワークであるd-OPSDを紹介します。 まず,自己生成型回答を接尾辞条件として用いることで,自己学習者構築を再構築する。 第二に、トークンレベルからステップレベルへと監督をシフトし、dLLMの反復的認知プロセスとトレーニングを整合させる。
• 参考スコア（独自算出の注目度）: 26.01772590639938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) has proven effective for post-training large language models (LLMs), yet its application to diffusion LLMs (dLLMs) remains unexplored. Existing OPSD methods are inherently autoregressive-centric. They inject privileged information via left-to-right prefix conditioning with token-level divergence supervision, a design that fundamentally conflicts with the arbitraryorder generation of dLLMs. We introduce d-OPSD, the first OPSD framework tailored for dLLMs. Our approach makes two core contributions. First, we reframe self-teacher construction by using self-generated answers as suffix conditioning, enabling the student model to learn from "self future-experience" rather than privileged prefixes. Second, we shift supervision from token-level to step-level, aligning training with the iterative denoising process of dLLMs. Experiments across four reasoning benchmarks show that d-OPSD consistently outperforms RLVR and SFT baselines with superior sample efficiency, requiring only around 10% of the optimization steps by RLVR and opening a promising pathway for dLLM posttraining. The code is available at https://github.com/xingzhejun/d-OPSD.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、大規模言語モデル (LLM) の訓練後の有効性が証明されているが、拡散LDM (dLLM) への応用は未定である。 既存のOPSDメソッドは本質的に自己回帰中心である。 彼らはトークンレベルの分散管理を備えた左から右へのプレフィックス条件で特権情報を注入し、dLLMの任意の順序生成と基本的に矛盾する設計である。 私たちは、dLLM用に調整された最初のOPSDフレームワークであるd-OPSDを紹介します。 私たちのアプローチには2つのコアコントリビューションがあります。 まず,自己生成型回答を接尾辞条件付けとして利用して自己学習者構築を再構築し,学生モデルが特権的接頭辞ではなく「自己の将来の経験」から学べるようにした。 第二に、トークンレベルからステップレベルへと監督をシフトし、dLLMの反復的認知プロセスとトレーニングを整合させる。 4つの推論ベンチマークによる実験の結果、d-OPSDはRLVRとSFTのベースラインを常に上回り、RLVRによる最適化ステップの約10%しか必要とせず、dLLM後処理のための有望な経路を開くことが示されている。 コードはhttps://github.com/xingzhejun/d-OPSD.comで公開されている。

関連論文リスト

• GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models [26.589027931827356]
  そこで我々は,dLLMの脱ノイズ剤をアドバンテージ誘導型自己教師から蒸留するために,誘導脱ノイズ器自己蒸留法(GDSD)を提案する。 GDSDは、正規化のない目的を通じて、dLLMのデノイザーロジットを教師のものと一致させることで、RLは可能性のない自己蒸留に還元される。
  論文  参考訳（メタデータ） (2026-05-28T05:47:40Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
  Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。 既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。 我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
  論文  参考訳（メタデータ） (2025-12-23T08:33:19Z)
• DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning [37.20873499361773]
  マスク付き拡散大言語モデル (dLLM) を学習し, より優れた推論を行うための統一フレームワークを提案する。 我々はまず,既存の基本方針を,真のdLLM政策の近似としてはるかに難易度の高い,政治外RLによるサロゲート政策の訓練により統一する。 RLでは、各プロンプトに対して推論閾値を適応的に割り当てることによって、dLLMの自然なマルチトークン予測能力をインセンティブ化する。
  論文  参考訳（メタデータ） (2025-10-02T16:57:24Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。