論文の概要: Efficient Hybrid Distillation: Synergizing Score and Adversarial Objectives for One-Step Diffusion

• arxiv url: http://arxiv.org/abs/2611.03017v1
• Date: Mon, 02 Nov 2026 12:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:54:07.36558
• Title: Efficient Hybrid Distillation: Synergizing Score and Adversarial Objectives for One-Step Diffusion
• Title（参考訳）: 効率的なハイブリッド蒸留:1ステップ拡散のためのスコアと対向目的の相乗化
• Abstract要約: スコア蒸留と逆蒸留の相乗効果について検討した。 本稿では,これらの目的をシステマティブ・アダプティブ・サンプリング・ストラテジーを通じて相乗化するためのフレームワークであるEASD(Efficient Adversarial Score Distillation)を提案する。 提案手法は,SiT-XL/2+REPAモデルを用いて ImageNet 256$times$256 上で 1.39 の有望な 1 ステップ FID を実現する。
• 参考スコア（独自算出の注目度）: 34.91387555420804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous distillation methods have been developed to accelerate diffusion models. Recent research indicates that hybrid strategies---blending different paradigms---yield superior results compared to single-method approaches. However, current works predominantly rely on a simple combination of objectives, leaving the question of how to effectively synergize them largely underexplored. In this paper, we specifically investigate the synergy between Score Distillation and Adversarial Distillation. We reveal that their operating zones are distinct and complementary: Score Distillation is effective in high-noise regimes for capturing the global distribution yet lacks fine-grained supervision in low-noise regions. Conversely, Adversarial Distillation is effective in low-noise regions but is prone to instability and suffers from discriminator failure when applied to high-noise intervals. Leveraging this insight, we propose Efficient Adversarial Score Distillation (EASD), a framework that synergizes these objectives via a regime-adaptive sampling strategy, directing each objective to focus on its effective interval. We further apply this paradigm to DiT-based Flow Matching models. Empirically, our method achieves a promising one-step FID of 1.39 on ImageNet 256$\times$256 using the SiT-XL/2+REPA model. This work provides a concrete guideline for maximizing the potential of hybrid distillation. Our code and model are available at https://github.com/pf0607/EASD .
• Abstract（参考訳）: 拡散モデルを加速するために多くの蒸留法が開発されている。 最近の研究は、異なるパラダイムを曲げるハイブリッド戦略が、シングルメソッドアプローチよりも優れた結果をもたらすことを示唆している。 しかし、現在の研究は主に目的の単純な組み合わせに依存しており、どのように効果的にそれらを過小評価するかという問題を残している。 本稿では, スコア蒸留と逆蒸留の相乗効果について検討する。 スコア蒸留は, グローバルな分布を捉えるための高ノイズ体制において有効であるが, 低ノイズ地域ではきめ細かい監督を欠いている。 逆に,低雑音域では消毒が有効であるが,低雑音域では不安定性がみられ,高雑音区間に適用した場合は判別器の故障に悩まされる。 この知見を生かして、各目的が有効間隔に集中するよう指示する体制適応型サンプリング戦略を通じてこれらの目的を相乗化するためのフレームワークEASD(Efficient Adversarial Score Distillation)を提案する。 さらに、このパラダイムをDiTベースのフローマッチングモデルに適用する。 実験により,SiT-XL/2+REPAモデルを用いて画像Net 256$\times$256の1ステップFIDを1.39で実現した。 この研究は、ハイブリッド蒸留の可能性の最大化のための具体的なガイドラインを提供する。 私たちのコードとモデルはhttps://github.com/pf0607/EASD で利用可能です。

関連論文リスト

• DBLP: Noise Bridge Consistency Distillation For Efficient And Reliable Adversarial Purification [3.8870795921263723]
  拡散ブリッジ蒸留法 (DBLP) は, 対向浄化のための新規かつ効率的な拡散ベースフレームワークである。 DBLPは、堅牢な精度、優れた画像品質、約0.2秒の推論時間を実現し、リアルタイムの対向的浄化に向けた重要なステップとなる。
  論文  参考訳（メタデータ） (2025-08-01T11:47:36Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance [17.826285840875556]
  拡散モデルの生成タスクを加速するために、ターゲット駆動蒸留(TDD)を導入します。 TDDは、ターゲットのタイムステップの微妙な選択戦略を採用し、トレーニング効率を高めます。 非等価サンプリングとx0クリッピングを備えており、より柔軟で正確な画像サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-09-02T16:01:38Z)
• Instant Adversarial Purification with Adversarial Consistency Distillation [1.3165428727965363]
  One Step Control Purification (OSCP) は、単一の神経機能評価において頑健な敵の浄化を実現する新しい防御フレームワークである。 ImageNetの実験結果はOSCPの優れた性能を示し、74.19%の防衛成功率を達成し、純度は0.1秒に過ぎなかった。
  論文  参考訳（メタデータ） (2024-08-30T07:49:35Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。