論文の概要: Score-based Idempotent Distillation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2509.21470v1
• Date: Thu, 25 Sep 2025 19:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.946376
• Title: Score-based Idempotent Distillation of Diffusion Models
• Title（参考訳）: 拡散モデルのスコアベース等等化蒸留
• Authors: Shehtab Zaman, Chengyan Liu, Kenneth Chiu,
• Abstract要約: 一等性生成ネットワーク(IGN)は、対象多様体への等等性写像に基づく新しい生成モデルである。 本研究では拡散モデルスコアから等等化モデルを蒸留することにより拡散とIGNを結合し、SIGNと呼ぶ。 提案手法は非常に安定しており, 対向的損失を伴わないため, 提案手法の理論的解析を行い, IGNを予め学習した拡散モデルから効果的に蒸留できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 0.9367224590861915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Idempotent generative networks (IGNs) are a new line of generative models based on idempotent mapping to a target manifold. IGNs support both single-and multi-step generation, allowing for a flexible trade-off between computational cost and sample quality. But similar to Generative Adversarial Networks (GANs), conventional IGNs require adversarial training and are prone to training instabilities and mode collapse. Diffusion and score-based models are popular approaches to generative modeling that iteratively transport samples from one distribution, usually a Gaussian, to a target data distribution. These models have gained popularity due to their stable training dynamics and high-fidelity generation quality. However, this stability and quality come at the cost of high computational cost, as the data must be transported incrementally along the entire trajectory. New sampling methods, model distillation, and consistency models have been developed to reduce the sampling cost and even perform one-shot sampling from diffusion models. In this work, we unite diffusion and IGNs by distilling idempotent models from diffusion model scores, called SIGN. Our proposed method is highly stable and does not require adversarial losses. We provide a theoretical analysis of our proposed score-based training methods and empirically show that IGNs can be effectively distilled from a pre-trained diffusion model, enabling faster inference than iterative score-based models. SIGNs can perform multi-step sampling, allowing users to trade off quality for efficiency. These models operate directly on the source domain; they can project corrupted or alternate distributions back onto the target manifold, enabling zero-shot editing of inputs. We validate our models on multiple image datasets, achieving state-of-the-art results for idempotent models on the CIFAR and CelebA datasets.
• Abstract（参考訳）: 一等性生成ネットワーク(IGN)は、対象多様体への等等性写像に基づく新しい生成モデルである。 IGNはシングルステップとマルチステップの両方をサポートし、計算コストとサンプル品質の間の柔軟なトレードオフを可能にする。 しかし、GAN(Generative Adversarial Networks)と同様に、従来のIGNは敵の訓練を必要とし、不安定性やモード崩壊の訓練を行う傾向がある。 拡散モデルとスコアベースモデルは、サンプルを1つの分布(通常ガウス分布)から対象データ分布へ反復的に輸送する生成モデルに対する一般的なアプローチである。 これらのモデルは、安定したトレーニングダイナミクスと高忠実度生成品質のために人気を博している。 しかし、この安定性と品質は、データが軌道全体に沿って漸進的に輸送されなければならないため、高い計算コストがかかる。 新しいサンプリング法, モデル蒸留法, 整合性モデルが開発され, サンプリングコストを低減し, 拡散モデルからのワンショットサンプリングも行われている。 本研究では拡散モデルスコアから等等化モデルを蒸留することにより拡散とIGNを結合し、SIGNと呼ぶ。 提案手法は非常に安定しており, 敵の損失を必要としない。 本稿では,提案手法の理論的解析を行い,IGNを事前学習した拡散モデルから効果的に蒸留できることを実証的に示し,反復的なスコアベースモデルよりも高速な推論を可能にする。 SIGNはマルチステップサンプリングを実行でき、ユーザーは効率のために品質をトレードオフできる。 これらのモデルはソースドメイン上で直接動作し、出力のゼロショット編集を可能にするために、破損したあるいは別の分布をターゲット多様体に投影することができる。 我々は,CIFARおよびCelebAデータセット上での等等性モデルに対して,複数の画像データセットに対するモデルの有効性を検証した。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Informed Correctors for Discrete Diffusion Models [27.295990499157814]
  離散拡散モデルに対する予測・相関型サンプリング手法を提案する。 情報補正器は,誤差が少なく,FIDスコアが向上した優れたサンプルを連続的に生成することを示す。 本結果は,離散拡散を用いた高速かつ高忠実な生成のための情報補正器の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Latent Code Augmentation Based on Stable Diffusion for Data-free Substitute Attacks [47.84143701817491]
  ブラックボックス代替攻撃では対象モデルのトレーニングデータが利用できないため、近年のスキームではGANを用いて代替モデルのトレーニングデータを生成する。 本稿では,SD(Stable Diffusion)に基づくデータフリー代替攻撃方式を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:10:22Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。