論文の概要: Accelerating Diffusion Sampling with Classifier-based Feature Distillation

• arxiv url: http://arxiv.org/abs/2211.12039v1
• Date: Tue, 22 Nov 2022 06:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:02:30.097096
• Title: Accelerating Diffusion Sampling with Classifier-based Feature Distillation
• Title（参考訳）: 分級器型特徴蒸留による拡散サンプリングの促進
• Authors: Wujie Sun, Defang Chen, Can Wang, Deshi Ye, Yan Feng, Chun Chen
• Abstract要約: N/2$-step の教師サンプルとN/2$-step の生徒サンプルの出力画像を段階的に整列させることにより, 高速サンプリングのためのプログレッシブ蒸留を提案する。 教師の特徴分布を,データセットに依存しない分類器を用いて抽出し,性能向上を図る。 CIFAR-10実験は, 高品質で高速なサンプリングを実現する上で, 提案手法の優位性を示した。
• 参考スコア（独自算出の注目度）: 20.704675568555082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although diffusion model has shown great potential for generating higher quality images than GANs, slow sampling speed hinders its wide application in practice. Progressive distillation is thus proposed for fast sampling by progressively aligning output images of $N$-step teacher sampler with $N/2$-step student sampler. In this paper, we argue that this distillation-based accelerating method can be further improved, especially for few-step samplers, with our proposed \textbf{C}lassifier-based \textbf{F}eature \textbf{D}istillation (CFD). Instead of aligning output images, we distill teacher's sharpened feature distribution into the student with a dataset-independent classifier, making the student focus on those important features to improve performance. We also introduce a dataset-oriented loss to further optimize the model. Experiments on CIFAR-10 show the superiority of our method in achieving high quality and fast sampling. Code will be released soon.
• Abstract（参考訳）: 拡散モデルは, GANよりも高品質な画像を生成する大きな可能性を示しているが, サンプリング速度の遅いため, 実用化は困難である。 そこで,N/2$step の教師サンプルと学生サンプルの出力画像を段階的にアライメントすることで,高速サンプリングを行う。 本稿では,この蒸留系加速法をさらに改良し,特に数段のサンプラーに対して,提案する \textbf{c}lassifier-based \textbf{f}eature \textbf{d}istillation (cfd) により,さらに改善できると主張する。 出力画像を整理する代わりに、教師の特徴分布をデータセットに依存しない分類器で生徒に蒸留し、その重要な特徴に焦点を合わせ、パフォーマンスを向上させる。 モデルをさらに最適化するために、データセット指向の損失も導入します。 CIFAR-10実験は, 高品質かつ高速サンプリングを実現する上で, 提案手法の優位性を示した。 コードはまもなくリリースされる。

関連論文リスト

• Gradient-Free Classifier Guidance for Diffusion Model Sampling [4.450496470631169]
  Gradient-free Guidance (GFCG) 法はクラス予測精度を一貫して改善する。 ImageNet 512$times$512では、記録的な$FD_textDINOv2$23.09を達成すると同時に、ATG (90.2%) と比較して高い分類精度 (94.3%) を達成する。
  論文  参考訳（メタデータ） (2024-11-23T00:22:21Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Simple and Fast Distillation of Diffusion Models [39.79747569096888]
  本稿では,拡散モデルの簡易・高速蒸留(SFD)を提案する。 SFD は CIFAR-10 上で 4.53 FID (NFE=2) を達成する。
  論文  参考訳（メタデータ） (2024-09-29T12:13:06Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Diffusion Rejection Sampling [13.945372555871414]
  Diffusion Rejection Sampling (DiffRS) は、サンプリングされたトランジションカーネルを各タイムステップで真のカーネルと整列するリジェクションサンプリングスキームである。 提案手法は, 各中間段階における試料の品質を評価し, 試料に応じて異なる作業で精製する機構とみなすことができる。 実験により,ベンチマークデータセット上でのDiffRSの最先端性能と高速拡散サンプリングおよび大規模テキスト・画像拡散モデルに対するDiffRSの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-28T07:00:28Z)
• AddSR: Accelerating Diffusion-based Blind Super-Resolution with Adversarial Diffusion Distillation [43.62480338471837]
  低分解能入力からの複雑な詳細で鮮明な高分解能画像の再構成における, 安定拡散ショーケースに基づくブラインド超解像法 その実用性はしばしば、数千から数百のサンプリングステップの要求に起因して、効率の悪さによって妨げられる。 効率の良い逆拡散蒸留 (ADD) にインスパイアされた我々は, 蒸留と制御ネットの両方のアイデアを取り入れることでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-04-02T08:07:38Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
  本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。 提案手法は,事前学習した拡散モデルに容易に適用できる。 初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
  論文  参考訳（メタデータ） (2023-08-23T06:22:02Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。