論文の概要: FisherDistill: Diffusion Distribution Distillation via Closed-Form Fisher Critics

• arxiv url: http://arxiv.org/abs/2611.07604v1
• Date: Thu, 05 Nov 2026 07:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.58914
• Title: FisherDistill: Diffusion Distribution Distillation via Closed-Form Fisher Critics
• Title（参考訳）: Fisher Distill: 閉鎖型漁業批判による拡散分布蒸留
• Abstract要約: 拡散蒸留の最近の進歩は、ネットワーク機能評価(NFE)を1つまたは数つだけにすることで、高品質な画像生成を可能にしている。 その効率にもかかわらず、積極的に蒸留された発電機は、多段階の教師との残差を保っていることが多い。 我々は、フィッシャー線形判別分析に基づく簡単な方法であるhosbfFisherDistillを紹介する。
• 参考スコア（独自算出の注目度）: 39.04456170405229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in diffusion distillation have enabled high-quality image generation in only one or a few network function evaluations (NFEs). Despite their efficiency, aggressively distilled generators often retain a residual distribution gap from their multi-step teachers, motivating recent methods to introduce adversarial refinement with a learned discriminator. In this work, we ask whether such refinement necessarily requires a learned adversarial discriminator. We introduce \textbf{FisherDistill}, a simple alternative based on Fisher linear discriminant analysis. Using intermediate representations from the frozen teacher, we estimate the first- and second-order statistics of real and generated samples and derive a closed-form Fisher direction that maximally separates their feature distributions relative to within-class variation. This direction provides a lightweight refinement signal that complements the original distillation objective without requiring an additional adversarial discriminator or its optimization loop. Across multiple distillation frameworks, our approach consistently improves generation quality over their respective distilled baselines and substantially closes the gap to adversarially refined counterparts. Code: https://bhosalems.github.io/FisherDistill/
• Abstract（参考訳）: 近年, 拡散蒸留技術により, ネットワーク機能評価(NFE)を1つまたは数つ行うだけで, 高品質な画像生成が可能となった。 その効率にもかかわらず、積極的に蒸留された発電機は、多段階の教師から残留的な分布ギャップを保ち、近年では、学習した判別器による敵の洗練の導入を動機付けている。 本研究では、このような改善には、必ずしも学習した敵対的差別者が必要であるかどうかを問う。 我々は、フィッシャー線形判別分析に基づく簡単な代替案である「textbf{FisherDistill}」を紹介する。 凍結教師の中間表現を用いて,実および生成標本の1次および2次統計値を推定し,その特徴分布をクラス内変動に対して最大に分離する閉形式のフィッシャー方向を導出する。 この方向は、追加の対向判別器や最適化ループを必要とせず、元の蒸留目的を補完する軽量な精製信号を提供する。 提案手法は, それぞれの蒸留基数に対して連続的に生成品質を向上し, 対向的に精製された蒸留基数との差を大幅に縮める。 コード:https://bhosalems.github.io/FisherDistill/

関連論文リスト

• Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
  本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
  論文  参考訳（メタデータ） (2025-12-15T00:16:10Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Few-Step Diffusion via Score identity Distillation [67.07985339442703]
  拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:45:16Z)
• One-step Diffusion Models with $f$-Divergence Distribution Matching [41.21390253053562]
  近年の研究では,多段階拡散モデルを変分点蒸留により単一段階の学生生成器に蒸留している。 これらの手法は、モード探索として知られている分布マッチングにKL(Kulback-Leibler)の逆偏差を用いる。 本稿では,新しい$f$-divergence最小化フレームワークを用いて分布マッチング手法を一般化する。
  論文  参考訳（メタデータ） (2025-02-21T18:59:20Z)
• DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。