論文の概要: T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization

• arxiv url: http://arxiv.org/abs/2602.12262v1
• Date: Thu, 12 Feb 2026 18:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.989622
• Title: T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization
• Title（参考訳）: T3D: 直接識別最適化を用いた軌道自己蒸留による数ステップ拡散言語モデル
• Authors: Tunyu Zhang, Xinxi Zhang, Ligong Han, Haizhou Shi, Xiaoxiao He, Zhuowei Li, Hao Wang, Kai Xu, Akash Srivastava, Hao Wang, Vladimir Pavlovic, Dimitris N. Metaxas,
• Abstract要約: 拡散大言語モデル(DLLM)は、複数のトークンを並列に復号することで高速なテキスト生成を可能にする可能性がある。 本稿では, モデル自体の生成軌道を蒸留することにより, 数ステップのデコードを改善するトラジェクトリ自己蒸留フレームワークを提案する。 当社のアプローチは、厳格なステップ予算の下で、強力な数ステップのベースラインと標準トレーニングを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 45.026481622387244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (DLLMs) have the potential to enable fast text generation by decoding multiple tokens in parallel. However, in practice, their inference efficiency is constrained by the need for many refinement steps, while aggressively reducing the number of steps leads to a substantial degradation in generation quality. To alleviate this, we propose a trajectory self-distillation framework that improves few-step decoding by distilling the model's own generative trajectories. We incorporate Direct Discriminative Optimization (DDO), a reverse-KL objective that promotes mode-seeking distillation and encourages the student to concentrate on high-probability teacher modes. Across benchmarks, our approach consistently outperforms strong few-step baselines and standard training under tight step budgets. Although full-step decoding remains superior, we substantially narrow the gap, establishing a strong foundation towards practical few-step DLLMs. The source code is available at https://github.com/Tyrion58/T3D.
• Abstract（参考訳）: 拡散大言語モデル(DLLM)は、複数のトークンを並列に復号することで高速なテキスト生成を可能にする可能性がある。 しかし、実際には、その推論効率は、多くの改良ステップの必要性によって制約される一方で、ステップ数を積極的に削減することで、生成品質が著しく低下する。 そこで本研究では, モデル自身の生成軌道を蒸留することにより, 数ステップのデコードを改善するトラジェクトリ自己蒸留フレームワークを提案する。 我々は,モード探索蒸留を推進し,高確率教師モードに集中するよう学生に促す逆KL目標であるダイレクト差別最適化(DDO)を取り入れた。 ベンチマーク全体を通じて、当社のアプローチは、厳格なステップ予算の下で、強力な数ステップのベースラインと標準トレーニングを一貫して上回ります。 フルステップの復号化は依然として優れているが、ギャップを大幅に狭め、実用的な数段DLLMに向けた強力な基盤を確立している。 ソースコードはhttps://github.com/Tyrion58/T3Dで入手できる。

関連論文リスト

• d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation [31.922313594074925]
  拡散大言語モデル (dLLM) は自己回帰 (AR) LLM 以上の機能を提供する。 現行の手法では、通常はコインの片面のみに焦点を合わせ、効率性や性能を目標としている。 本稿では,d3LLM (Pseudo-Distilled Diffusion Large Language Model) を提案する。
  論文  参考訳（メタデータ） (2026-01-12T14:25:36Z)
• CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models [27.070045950001532]
  CD4LMは、推論からトレーニングを分離するフレームワークである。 GSM8Kでは、CD4LMはLLaDAベースラインと5.18倍のウォールクロック速度でマッチする。
  論文  参考訳（メタデータ） (2026-01-05T16:09:22Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
  Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。 我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:55:04Z)
• Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies [7.14946066475415]
  投機的復号法(SD法)は、単一の目標フォワードパスを使用して複数のトークンを生成することにより、実質的な効率向上をもたらす。 既存のSDアプローチでは、ドラフトラとターゲットモデルは同じ語彙を共有する必要があるため、ドラフトラのプールが制限される。 この共有語彙制約を除去する3つの新しいSD手法を提案する。 我々のアルゴリズムは、標準の自己回帰復号よりも最大2.8倍の高速化を示す。
  論文  参考訳（メタデータ） (2025-01-31T19:13:58Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Fast Point Cloud Generation with Straight Flows [44.76242251282731]
  ポイント・ストレート・フロー(Point Straight Flow)は、1ステップで素晴らしいパフォーマンスを示すモデルである。 我々は, 連続経路を1段階に短縮する蒸留法を開発した。 我々は,複数の3次元タスクに対して評価を行い,標準拡散モデルに適合してPSFが動作することを確認した。
  論文  参考訳（メタデータ） (2022-12-04T06:10:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。