論文の概要: Hesitation-Aware On-Policy Distillation for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.33301v1
• Date: Sun, 27 Sep 2026 07:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:20:18.886773
• Title: Hesitation-Aware On-Policy Distillation for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのためのヘシテーション対応オン・ポリシィ蒸留
• Abstract要約: Hesitation-Aware On-Policy Distillation (HOPD) Hesitation-Aware On-Policy Distillation (HOPD) Hesitation-Aware On-Policy Distillation (HOPD)
• 参考スコア（独自算出の注目度）: 16.690496450987663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) generate text by iterative unmasking. At each denoising step, a dLLM proposes a token at every masked position, but the decoder commits only a confident subset of these proposals. Trace-based on-policy distillation (TOPD) builds on this process by matching the student to a stronger teacher, yet only at the committed positions. We argue that this discards much of the useful signal, which resides in the uncommitted proposals, where the student has made a prediction but is not yet confident enough to commit it. We call these proposals hesitations. In our pilot study on an SDAR-4B student, hesitations make up only 24% of supervisable state-position pairs but carry 66% of the teacher-student divergence. To exploit this signal, we propose Hesitation-Aware On-Policy Distillation (HOPD), which extends teacher distribution matching to every masked position of each denoising step. Because hesitations are not equally informative, we further allocate supervision using hindsight from the completed trajectory, placing more weight on positions whose proposal was later disagreed with the final token and on blocks where first-step proposals rarely survive. Since both models already produce distributions at all masked positions, HOPD requires no additional forward passes over TOPD. The only extra cost is evaluating the loss at more positions. With SDAR-1.7B and SDAR-4B students distilled from TraDo-8B-Instruct, HOPD achieves the best average score among the evaluated methods on five math and coding benchmarks, under both static and dynamic decoding and at both scales. It also speeds up decoding. On SDAR-4B, the HOPD student hesitates less and commits 11% more tokens per denoising step than TOPD, while reaching higher accuracy.
• Abstract（参考訳）: 拡散大言語モデル (dLLMs) は反復的アンマスキングによってテキストを生成する。 各denoisingステップでは、dLLMがマスクされた位置ごとにトークンを提案するが、デコーダはこれらの提案の確実なサブセットだけをコミットする。 トレースベースのオンライン蒸留(TOPD)は、学生をより強い教師に合わせることでこのプロセスの上に構築される。 これは、学生が予測を下すが、それを行う自信が十分でない、コミットされていない提案の中に存在する有用な信号の多くを捨てている、と我々は主張する。 私たちはこれらの提案をためらいます。 SDAR-4Bの学生を対象としたパイロット研究では、視認可能な状態配置ペアのわずか24%に過ぎなかったが、教師と学生の相違は66%に過ぎなかった。 この信号を利用するために,教師分布を各認知ステップのマスキング位置に応じて拡張するHesitation-Aware On-Policy Distillation (HOPD)を提案する。 また,ハシテーションは等しく情報的ではないため,完了した軌道からの後方視による監督を更に確保し,提案が最終トークンと一致しない位置や,第1段階の提案がほとんど生き残らないブロックに重みを付ける。 どちらのモデルも既に全てのマスキング位置で分布を生成するため、HOPDはTOPDを越える前方通過を必要としない。 余分なコストは、より多くのポジションで損失を評価することです。 SDAR-1.7B と SDAR-4B の学生が TraDo-8B-Instruct から抽出し、HOPD は静的および動的デコーディングと両方のスケールで5つの数学およびコーディングベンチマークで評価された手法の中で最高の平均スコアを得る。 復号化もスピードアップする。 SDAR-4Bでは、HOPD学生はTOPDよりも少ないため、TOPDよりも11%多くのトークンをコミットするが、精度は高い。

関連論文リスト

• LastOPD: Taming Collapse in Latent On-Policy Distillation [31.27206955259948]
  我々は,LastOPDを提案する。LastOPDは,最後の層状態,LMヘッドの両方の共通インタフェース,トークンレベルPDへの10ステップのクロスフェード中のみに適用する。 これは潜伏信号の有用な部分を保持し、崩壊が起こる前に学生にトークンレベルの監督を任せる。 実験の結果、LastOPDは4Bと8Bの教師と5.55点と4.02点のトークンオンリーのPDよりもMATH-500を改善し、ほとんどの保持されたデータセットを導き、トークンオンリーのPDの最終スコアを約半分に到達した。
  論文  参考訳（メタデータ） (2026-09-23T23:22:21Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
  On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。 OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T22:31:15Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM [18.69783590125584]
  拡散大言語モデル(dLLM)は、並列テキスト生成に有望なパラダイムを提供する。 彼らは精度のパラレルなトレードオフに直面しており、1フォワード当たりのトークンの増加は世代品質を劣化させることが多い。 既存の加速法は精度を犠牲にして速度を上げることが多い。 本稿では, 時間認識型自己蒸留フレームワークTADを提案する。
  論文  参考訳（メタデータ） (2026-05-10T13:38:53Z)
• SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
  ツール統合推論は、小さな言語モデルにスケールすることが難しい。 近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。 スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:30:42Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。