論文の概要: IDLM: Inverse-distilled Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.19066v1
• Date: Sun, 22 Feb 2026 06:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.467672
• Title: IDLM: Inverse-distilled Diffusion Language Models
• Title（参考訳）: IDLM:逆拡散言語モデル
• Authors: David Li, Nikita Gushchin, Dmitry Abulkhanov, Eric Moulines, Ivan Oseledets, Maxim Panov, Alexander Korotin,
• Abstract要約: Inverse Distillation(逆蒸留)は、もともと連続拡散モデルを加速するために開発された技法で、離散的な設定に拡張する。 理論的観点からは、逆蒸留の目的には一意性保証が欠如しており、これは準最適解に繋がる可能性がある。 Inverse-distilled Diffusion Language Models (IDLM) は推論ステップ数を4x-64x削減する。
• 参考スコア（独自算出の注目度）: 70.5793829229702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Language Models (DLMs) have recently achieved strong results in text generation. However, their multi-step sampling leads to slow inference, limiting practical use. To address this, we extend Inverse Distillation, a technique originally developed to accelerate continuous diffusion models, to the discrete setting. Nonetheless, this extension introduces both theoretical and practical challenges. From a theoretical perspective, the inverse distillation objective lacks uniqueness guarantees, which may lead to suboptimal solutions. From a practical standpoint, backpropagation in the discrete space is non-trivial and often unstable. To overcome these challenges, we first provide a theoretical result demonstrating that our inverse formulation admits a unique solution, thereby ensuring valid optimization. We then introduce gradient-stable relaxations to support effective training. As a result, experiments on multiple DLMs show that our method, Inverse-distilled Diffusion Language Models (IDLM), reduces the number of inference steps by 4x-64x, while preserving the teacher model's entropy and generative perplexity.
• Abstract（参考訳）: 拡散言語モデル(DLM)は近年,テキスト生成において大きな成果を上げている。 しかし、その多段階サンプリングによって推論が遅くなり、実用的な使用が制限される。 これを解決するために, もともと連続拡散モデルの高速化を目的として開発された逆蒸留法を離散的な設定に拡張する。 それでも、この拡張は理論的および実践的な課題をもたらす。 理論的観点からは、逆蒸留の目的には一意性保証が欠如しており、これは準最適解に繋がる可能性がある。 現実的な観点では、離散空間のバックプロパゲーションは非自明であり、しばしば不安定である。 これらの課題を克服するために、まず、我々の逆定式化が一意的な解を許容し、有効な最適化を保証することを証明する理論的結果を提供する。 次に、効果的なトレーニングを支援するために勾配安定緩和を導入する。 その結果, 逆拡散言語モデル (IDLM) は, 教師モデルのエントロピーと生成パープレキシティを保ちつつ, 推論ステップ数を4x-64x削減することがわかった。

関連論文リスト

• Constrained Diffusion with Trust Sampling [11.354281911272864]
  我々は、最適化の観点から、トレーニングなし損失誘導拡散を再考する。 トラストサンプリングは、無条件拡散モデルに従って効果的にバランスをとり、損失誘導に固執する。 複雑なタスクや画像の領域や3Dモーション生成の領域で広範囲にわたる実験により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-17T01:34:57Z)
• Repulsive Latent Score Distillation for Solving Inverse Problems [31.255943277671893]
  SDS(Score Distillation Sampling)は,逆問題などの下流タスクにおいて,事前学習した拡散モデルを活用する上で重要である。 モード崩壊と遅延空間逆転に対処するために, 後方サンプリングのための新しい変分フレームワークを提案する。 我々は、このフレームワークを拡張して、潜伏者とデータをアンタングルする拡張された変分分布を拡張します。
  論文  参考訳（メタデータ） (2024-06-24T14:43:02Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Lipschitz Singularities in Diffusion Models [64.28196620345808]
  拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。 ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。 我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。