論文の概要: Temporal Self-Distillation: Faster Inference in Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.15177v1
• Date: Mon, 14 Sep 2026 07:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.176352
• Title: Temporal Self-Distillation: Faster Inference in Discrete Diffusion Language Models
• Title（参考訳）: 時間的自己蒸留:離散拡散言語モデルにおける高速推論
• Abstract要約: 拡散言語モデル(dLLMs)は、複数のトークンを並列に生成することで高速な推論を約束するが、並列デコーディングが過度にプッシュされた場合、パフォーマンスが著しく低下する。 本研究では, 短時間の蒸留により, dLLMsを高速な推論のために訓練する簡易な自己蒸留法であるTSDを導入する。
• 参考スコア（独自算出の注目度）: 11.929379448468568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (dLLMs) promise fast inference by generating multiple tokens in parallel, but suffer severe performance degradation when parallel decoding is pushed too aggressively. We introduce Temporal Self-Distillation (TSD), a simple on-policy method that trains dLLMs for fast inference by distilling predictions across time. Specifically, TSD distills the model's denoising distribution at earlier timesteps toward its distribution at the final timestep at which a token is committed. This encourages earlier predictions to better anticipate the model's eventual output, enabling much more aggressive parallel decoding. Because its teacher signal comes from the model itself, TSD requires no offline teacher generation and applies seamlessly to both base and post-trained policies. Across seven benchmarks in mathematics, planning, and code, TSD substantially shifts the speed--quality frontier toward the low-compute regime. TSD thus provides a simple, single-stage approach to accelerating dLLMs, achieving speedups competitive with offline distillation while avoiding a complex two-stage pipeline.
• Abstract（参考訳）: 拡散言語モデル(dLLMs)は、複数のトークンを並列に生成することで高速な推論を約束するが、並列デコーディングが過度にプッシュされた場合、パフォーマンスが著しく低下する。 本研究では, 短時間の蒸留により, dLLMsを高速な推論のために訓練する簡易な自己蒸留法であるTSDを導入する。 具体的には、TSDは、トークンがコミットされた最後のタイミングで、モデルのデノナイジング分布を、その分布に向かって早期に蒸留する。 これにより、事前の予測はモデルの最終的な出力をより予測し、より攻撃的な並列デコードを可能にする。 教師の信号はモデル自体から来ているため、TSDはオフラインの教師生成を必要とせず、ベースおよびポストトレーニングされたポリシーの両方にシームレスに適用する。 数学、計画、およびコードにおける7つのベンチマークにおいて、TLDは、速度-品質-フロンティアを低計算状態へと実質的にシフトさせる。 したがって、TSDはdLLMを加速するための単純な単一ステージのアプローチを提供し、複雑な2段階パイプラインを避けながらオフライン蒸留と競合するスピードアップを達成する。

関連論文リスト

• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Parallel Decoding Distillation for Fast Image and Video Generation [35.18845060233149]
  拡散モデルと流れマッチングモデルの高速推論のための並列復号蒸留(PDD)を提案する。 PDDは、ネットワーク評価毎に複数のデノゲーションステップを予測することで、生成を加速する。 LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, Qwen-Image Text-to-Imageの4-8 NFEによるSOTA性能を実現する。
  論文  参考訳（メタデータ） (2026-07-28T17:20:00Z)
• TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM [18.69783590125584]
  拡散大言語モデル(dLLM)は、並列テキスト生成に有望なパラダイムを提供する。 彼らは精度のパラレルなトレードオフに直面しており、1フォワード当たりのトークンの増加は世代品質を劣化させることが多い。 既存の加速法は精度を犠牲にして速度を上げることが多い。 本稿では, 時間認識型自己蒸留フレームワークTADを提案する。
  論文  参考訳（メタデータ） (2026-05-10T13:38:53Z)
• d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation [31.922313594074925]
  拡散大言語モデル (dLLM) は自己回帰 (AR) LLM 以上の機能を提供する。 現行の手法では、通常はコインの片面のみに焦点を合わせ、効率性や性能を目標としている。 本稿では,d3LLM (Pseudo-Distilled Diffusion Large Language Model) を提案する。
  論文  参考訳（メタデータ） (2026-01-12T14:25:36Z)
• CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models [27.070045950001532]
  CD4LMは、推論からトレーニングを分離するフレームワークである。 GSM8Kでは、CD4LMはLLaDAベースラインと5.18倍のウォールクロック速度でマッチする。
  論文  参考訳（メタデータ） (2026-01-05T16:09:22Z)
• Fast and Accurate Causal Parallel Decoding using Jacobi Forcing [41.89066334075016]
  Jacobi Forcingはプログレッシブ蒸留パラダイムであり、モデルが独自の並列復号軌道で訓練される。 我々は,複数ブロックの復号化とリジェクション・リサイクリングを導入し,最大4.5倍高いトークン受入数と4.0倍のウォールクロック・スピードアップを実現した。
  論文  参考訳（メタデータ） (2025-12-16T18:45:18Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models [4.232258232565518]
  テキスト・ツー・イメージ拡散モデル(SD)は、広範な計算資源を必要とする一方で、大幅な進歩を示す。 LCM-LoRAは、様々なモデルで一度トレーニング可能で、普遍性を提供するが、アクセラレーション前後で生成されたコンテンツの一貫性を確保することはめったにない。 本稿では,革新的アクセラレーションモジュールであるSpeedUpNet(SUN)を提案し,普遍性と一貫性の課題に対処する。
  論文  参考訳（メタデータ） (2023-12-13T09:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。