Fugu-MT 論文翻訳(概要): On-Policy Residual Learning for Diffusion Language Models

論文の概要: On-Policy Residual Learning for Diffusion Language Models

arxiv url: http://arxiv.org/abs/2610.20687v1
Date: Wed, 14 Oct 2026 17:13:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:15.993278
Title: On-Policy Residual Learning for Diffusion Language Models
Title（参考訳）: 拡散言語モデルのためのオンライン残差学習
Abstract要約: 拡散言語モデルにおけるオンライン残差学習のためのフレームワークORLを紹介する。我々は,非同期残差キャプチャとトランスポート,特殊ブロック拡散アテンション,計算平衡トレーニングを併用してアルゴリズムを設計する。 Qwen3-4Bから変換された4B DLMでは、ORLは転送当たりトークン(TPF)を最大6.2倍改善します。
参考スコア（独自算出の注目度）: 44.61221631155474
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Residual context is key to unlocking the speed-quality Pareto frontier of diffusion language models (DLMs) by carrying forward predictive distributions across denoising steps. Yet turning this seemingly simple mechanism into an effective learning paradigm is far from simple: there is no clear recipe for how residual context should be learned. We introduce ORL, a framework for on-policy residual learning in DLMs. Algorithmically, we identify that residual learning is inherently on-policy. ORL learns from model-induced residual trajectories on the fly and introduces an entropy-contraction objective that sharpens predictions as the model revisits its own predictions. System-wise, exact residual supervision requires capturing, retaining, and reprocessing many trajectory-dependent states. ORL co-designs the algorithm with asynchronous residual capture and transport, specialized block-diffusion attention, and packed compute-balanced training, making it practical at scale. On a 4B DLM converted from Qwen3-4B, ORL improves tokens per forward (TPF) by up to 6.2x and, with our dlmrt engine, end-to-end throughput by approximately 6.9x at comparable or better quality. In single-request serving on one H100, this mode achieves a stronger speed-quality Pareto frontier than autoregressive models with EAGLE3 and DFlash speculative decoding under both strict and relaxed verification, running 1.74x faster than DFlash at matched accuracy. ORL also transfers to existing DLMs: on LLaDA-2.1-mini, 36 H100-hours and 4.2M self-generated tokens, about 10x less data than prior LLaDA recipes, yield up to 1.5x higher TPF and up to 3x higher throughput at comparable quality, and on DiffusionGemma, ORL raises TPF by 1.1-1.2x. With dlmrt and NVFP4 quantization, ORL models decode a single request at up to 5,046 tokens/s on one B200, 7,708 on eight B200s, and 2,788 on a consumer RTX 5090, with comparable quality.
Abstract（参考訳）: 残留コンテキストは、拡散言語モデル(DLM)の高速なパレートフロンティアの解き放つための鍵となる。しかし、この一見単純なメカニズムを効果的な学習パラダイムに変えることは、決して簡単ではない。 DLMにおける残差学習のためのフレームワークORLを紹介する。アルゴリズムでは、残差学習は本質的には政治上のものであると同定する。 ORLはモデルによって引き起こされたハエの残留軌道から学習し、モデルが自身の予測を再考するにつれて予測を鋭くするエントロピー・コントラクションの目的を導入する。システムレベルでは、正確な残留監督は、多くの軌道依存状態の捕捉、保持、再処理を必要とする。 ORLは非同期残差キャプチャとトランスポート、特殊ブロック拡散アテンション、計算バランストレーニングを組み込んだアルゴリズムを共同設計し、大規模に実現している。 Qwen3-4Bから変換された4B DLMでは、ORLは転送当たりトークン(TPF)を最大6.2倍改善します。 1つのH100上でシングルリクエストサービスを行う場合、このモードはEDGLE3とDFlashの投機的デコードによる自動回帰モデルよりも高速なパレートフロンティアを実現し、一致した精度でDFlashよりも1.74倍高速に動作する。 ORLは、LLaDA-2.1-mini、36 H100時間、4.2Mの自己生成トークン、以前のLLaDAレシピの約10倍のデータを出力し、最大1.5倍のTPF、最大3倍のスループットを出力し、DiffusionGemmaでは、ORLはTPFを1.1-1.2倍向上させる。 dlmrtとNVFP4の量子化により、ORLモデルは1つのB200で最大5,046トークン/秒、B200で7,708トークン、RTX 5090で2,788トークン/秒の単一要求をデコードする。

論文の概要: On-Policy Residual Learning for Diffusion Language Models

関連論文リスト