論文の概要: HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.36901v1
• Date: Tue, 27 Oct 2026 09:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.556285
• Title: HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models
• Title（参考訳）: HiLo-RD:マスケ拡散言語モデルのためのクロス予算自己蒸留
• Abstract要約: HiLo-RDは、限られた世代予算の下でマスク付き拡散言語モデルを改善する。 我々は、HiLo-RDが低予算の精度を改善し、応答を短縮することを示す。
• 参考スコア（独自算出の注目度）: 36.28487101972789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose HiLo-RD (High-to-Low Budget Representation Distillation) to improve masked diffusion language models (MDLMs) under a limited generation budget. Unlike autoregressive models, MDLMs choose both what to generate and where to commit it. This creates two coupled challenges: predicting useful content before reasoning is complete, and deciding when to fix answer tokens that shape later predictions. We identify budget-induced premature commitment: even when a correct solution fits, the model can fix answer fragments near the window boundary before resolving intermediate steps. These fragments become context for later predictions and redirect subsequent reasoning. Existing post-training methods do not directly transfer the stronger trajectories that the same model follows with a larger window. HiLo-RD addresses this gap by (1) pairing large-window teacher states with cropped small-window views and (2) matching their hidden representations at committed positions. This supervision guides both token prediction and commitment order without an external teacher. Across mathematics benchmarks, HiLo-RD improves low-budget accuracy and shortens responses; these gains extend to code generation without code-domain training. On GSM8K, accuracy rises by 9.4 percentage points as mean readable length falls by about 25%. Attention diagnostics and fixed-budget order interventions support the proposed mechanism. Together, these results show that large-window reasoning can improve small-window decoding.
• Abstract（参考訳）: マスク拡散言語モデル(MDLM)の改良を目的としたHiLo-RD(High-to-Low Budget Representation Distillation)を提案する。 自己回帰モデルとは異なり、MDLMは生成するものとコミットする場所の両方を選択する。 推論が完了する前に有用なコンテンツを予測することと、後続の予測を形作る回答トークンをいつ修正するかを決定することだ。 正しい解が適合しても、そのモデルは中間ステップを解決する前に、ウィンドウ境界付近の解答フラグメントを修正することができる。 これらの断片は後の予測の文脈となり、その後の推論をリダイレクトする。 既存の訓練後手法は、同じモデルがより大きなウィンドウで従う強い軌道を直接転送しない。 HiLo-RDは,(1)大画面の教師状態と収穫された小画面のビューをペアリングし,(2)隠れた表現をコミット位置でマッチングすることで,このギャップに対処する。 この監督は、外部教師なしでトークン予測とコミットメント命令の両方を指導する。 数学のベンチマーク全体で、HiLo-RDは低予算の精度を改善し、レスポンスを短縮する。 GSM8Kでは、平均可読長が約25%減少するため、精度が9.4ポイント上昇する。 注意診断と固定予算の介入は、提案されたメカニズムを支持する。 これらの結果から,大ウィンドウ推論は小ウィンドウの復号化に有効であることが示唆された。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Think Twice: Branch-and-Rethink Reasoning Reward Model [32.70732791642558]
  本稿では,2ターンのRMであるブランチ・アンド・リコンプリート(BR-RM)について紹介する。 我々は、厳密なフォーマットチェックによる単純なバイナリ結果報酬を用いて、構造化された2ターントレース上でGRPOスタイルの強化学習を訓練する。 All-at-oncescoringinto focus, second-lookreasoning を変換することにより、BR-RMreducesjudgmentdiffusionand は微妙で連続的な誤りに対する感受性を高める。
  論文  参考訳（メタデータ） (2025-10-27T17:58:07Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Reinforcing the Diffusion Chain of Lateral Thought with Diffusion Language Models [31.589548159881932]
  本稿では,拡散言語モデルの推論フレームワークであるDCoLT(Diffusion Chain of Lateral Thought)を紹介する。 DCoLTは、思考の中間段階において文法的正しさに厳格な規則を持たず、双方向で非線形な推論を可能にする。 DCoLT強化拡散言語モデル(DLM)は、SFTやRLで訓練された他のDLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-15T16:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。