論文の概要: T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization

• arxiv url: http://arxiv.org/abs/2602.12262v1
• Date: Thu, 12 Feb 2026 18:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.989622
• Title: T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization
• Title（参考訳）: T3D: 直接識別最適化を用いた軌道自己蒸留による数ステップ拡散言語モデル
• Abstract要約: 拡散大言語モデル(DLLM)は、複数のトークンを並列に復号することで高速なテキスト生成を可能にする可能性がある。 本稿では, モデル自体の生成軌道を蒸留することにより, 数ステップのデコードを改善するトラジェクトリ自己蒸留フレームワークを提案する。 当社のアプローチは、厳格なステップ予算の下で、強力な数ステップのベースラインと標準トレーニングを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 45.026481622387244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (DLLMs) have the potential to enable fast text generation by decoding multiple tokens in parallel. However, in practice, their inference efficiency is constrained by the need for many refinement steps, while aggressively reducing the number of steps leads to a substantial degradation in generation quality. To alleviate this, we propose a trajectory self-distillation framework that improves few-step decoding by distilling the model's own generative trajectories. We incorporate Direct Discriminative Optimization (DDO), a reverse-KL objective that promotes mode-seeking distillation and encourages the student to concentrate on high-probability teacher modes. Across benchmarks, our approach consistently outperforms strong few-step baselines and standard training under tight step budgets. Although full-step decoding remains superior, we substantially narrow the gap, establishing a strong foundation towards practical few-step DLLMs. The source code is available at https://github.com/Tyrion58/T3D.
• Abstract（参考訳）: 拡散大言語モデル(DLLM)は、複数のトークンを並列に復号することで高速なテキスト生成を可能にする可能性がある。 しかし、実際には、その推論効率は、多くの改良ステップの必要性によって制約される一方で、ステップ数を積極的に削減することで、生成品質が著しく低下する。 そこで本研究では, モデル自身の生成軌道を蒸留することにより, 数ステップのデコードを改善するトラジェクトリ自己蒸留フレームワークを提案する。 我々は,モード探索蒸留を推進し,高確率教師モードに集中するよう学生に促す逆KL目標であるダイレクト差別最適化(DDO)を取り入れた。 ベンチマーク全体を通じて、当社のアプローチは、厳格なステップ予算の下で、強力な数ステップのベースラインと標準トレーニングを一貫して上回ります。 フルステップの復号化は依然として優れているが、ギャップを大幅に狭め、実用的な数段DLLMに向けた強力な基盤を確立している。 ソースコードはhttps://github.com/Tyrion58/T3Dで入手できる。

関連論文リスト

• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Chain-based Distillation for Effective Initialization of Variable-Sized Small Language Models [36.23126542075003]
  大規模言語モデル(LLM)は強力なパフォーマンスを実現するが、リソース制約のある環境でのデプロイにはコストがかかる。 スクラッチから小さな言語モデル(SLM)を訓練するには計算コストがかかる。 可変サイズの言語モデルを効率的に初期化するためのスケーラブルなパラダイムであるtextbfChain-based Distillation (CBD) を提案する。
  論文  参考訳（メタデータ） (2026-05-08T14:21:05Z)
• SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
  ツール統合推論は、小さな言語モデルにスケールすることが難しい。 近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。 スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:30:42Z)
• TRIMS: Trajectory-Ranked Instruction Masked Supervision for Diffusion Language Models [46.490931189790956]
  拡散言語モデル(DLM)は、並列復号化による低レイテンシ生成への有望な道を提供する。 本稿では,単純な軌道誘導型微調整フレームワークであるTrajectory-Ranked Instruction Masked Supervision (TRIMS)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T09:13:31Z)
• d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation [31.922313594074925]
  拡散大言語モデル (dLLM) は自己回帰 (AR) LLM 以上の機能を提供する。 現行の手法では、通常はコインの片面のみに焦点を合わせ、効率性や性能を目標としている。 本稿では,d3LLM (Pseudo-Distilled Diffusion Large Language Model) を提案する。
  論文  参考訳（メタデータ） (2026-01-12T14:25:36Z)
• CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models [27.070045950001532]
  CD4LMは、推論からトレーニングを分離するフレームワークである。 GSM8Kでは、CD4LMはLLaDAベースラインと5.18倍のウォールクロック速度でマッチする。
  論文  参考訳（メタデータ） (2026-01-05T16:09:22Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
  Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。 我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:55:04Z)
• Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies [7.14946066475415]
  投機的復号法(SD法)は、単一の目標フォワードパスを使用して複数のトークンを生成することにより、実質的な効率向上をもたらす。 既存のSDアプローチでは、ドラフトラとターゲットモデルは同じ語彙を共有する必要があるため、ドラフトラのプールが制限される。 この共有語彙制約を除去する3つの新しいSD手法を提案する。 我々のアルゴリズムは、標準の自己回帰復号よりも最大2.8倍の高速化を示す。
  論文  参考訳（メタデータ） (2025-01-31T19:13:58Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Fast Point Cloud Generation with Straight Flows [44.76242251282731]
  ポイント・ストレート・フロー(Point Straight Flow)は、1ステップで素晴らしいパフォーマンスを示すモデルである。 我々は, 連続経路を1段階に短縮する蒸留法を開発した。 我々は,複数の3次元タスクに対して評価を行い,標準拡散モデルに適合してPSFが動作することを確認した。
  論文  参考訳（メタデータ） (2022-12-04T06:10:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。