論文の概要: Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter

• arxiv url: http://arxiv.org/abs/2508.16939v1
• Date: Sat, 23 Aug 2025 08:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.264467
• Title: Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter
• Title（参考訳）: 蒸留用Sig-DEG:拡散モデルの高速化と軽量化
• Authors: Lei Jiang, Wen Ge, Niels Cariou-Kotlarek, Mingxuan Yi, Po-Yu Chen, Lingyi Yang, Francois Buet-Golfouse, Gaurav Mittal, Hao Ni,
• Abstract要約: Signature-based Differential Equation Generator (Sig-DEG) は、事前学習した拡散モデルを蒸留するための新しい生成装置である。 Sig-DEGは部分シグネチャを利用して、部分区間上のブラウン運動を効率的に要約する。 実験により、Sig-DEGは、推論ステップの数を桁違いに減らしながら、競合生成品質を達成することを示した。
• 参考スコア（独自算出の注目度）: 19.32896407865563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved state-of-the-art results in generative modelling but remain computationally intensive at inference time, often requiring thousands of discretization steps. To this end, we propose Sig-DEG (Signature-based Differential Equation Generator), a novel generator for distilling pre-trained diffusion models, which can universally approximate the backward diffusion process at a coarse temporal resolution. Inspired by high-order approximations of stochastic differential equations (SDEs), Sig-DEG leverages partial signatures to efficiently summarize Brownian motion over sub-intervals and adopts a recurrent structure to enable accurate global approximation of the SDE solution. Distillation is formulated as a supervised learning task, where Sig-DEG is trained to match the outputs of a fine-resolution diffusion model on a coarse time grid. During inference, Sig-DEG enables fast generation, as the partial signature terms can be simulated exactly without requiring fine-grained Brownian paths. Experiments demonstrate that Sig-DEG achieves competitive generation quality while reducing the number of inference steps by an order of magnitude. Our results highlight the effectiveness of signature-based approximations for efficient generative modeling.
• Abstract（参考訳）: 拡散モデルは、生成的モデリングにおいて最先端の結果を達成したが、推論時に計算的に集中し続け、しばしば数千の離散化ステップを必要とする。 そこで本研究では,Sig-DEG (Signature-based Differential Equation Generator) を提案する。 確率微分方程式(SDE)の高次近似に着想を得て、Sig-DEGは部分的シグネチャを活用し、部分区間上のブラウン運動を効率的に要約し、SDE解の正確な大域的近似を可能にするために繰り返し構造を採用する。 蒸留は教師付き学習タスクとして定式化され、Sig-DEGは粗い時間格子上の微細分解能拡散モデルの出力と一致するように訓練される。 推論中、Sig-DEGは、部分的なシグネチャ項を、きめ細かいブラウンパスを必要とせずに、正確にシグネチャ項をシミュレートできるため、高速な生成を可能にする。 実験により、Sig-DEGは、推論ステップの数を桁違いに減らしながら、競合生成品質を達成することを示した。 本結果は,効率的な生成モデル構築のためのシグネチャベース近似の有効性を強調した。

関連論文リスト

• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。