論文の概要: High Quality Diffusion Distillation on a Single GPU with Relative and Absolute Position Matching

• arxiv url: http://arxiv.org/abs/2503.20744v1
• Date: Wed, 26 Mar 2025 17:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:54.018809
• Title: High Quality Diffusion Distillation on a Single GPU with Relative and Absolute Position Matching
• Title（参考訳）: 相対的, 絶対的位置整合を有する単一GPUの高精度拡散蒸留
• Authors: Guoqiang Zhang, Kenta Niwa, J. P. Lewis, Cedric Mesnage, W. Bastiaan Kleijn,
• Abstract要約: 拡散蒸留法である相対的位置マッチング(RAPM)を導入し、1つのGPU上で効率よく学習できる高品質な生成法を提案する。 4つの時間ステップを持つRAPMは、非常に限られた計算資源の下で1つの時間ステップを持つ最良の方法として、同等のFIDスコアを生成する。
• 参考スコア（独自算出の注目度）: 15.289318077160344
• License:
• Abstract: We introduce relative and absolute position matching (RAPM), a diffusion distillation method resulting in high quality generation that can be trained efficiently on a single GPU. Recent diffusion distillation research has achieved excellent results for high-resolution text-to-image generation with methods such as phased consistency models (PCM) and improved distribution matching distillation (DMD2). However, these methods generally require many GPUs (e.g.~8-64) and significant batchsizes (e.g.~128-2048) during training, resulting in memory and compute requirements that are beyond the resources of some researchers. RAPM provides effective single-GPU diffusion distillation training with a batchsize of 1. The new method attempts to mimic the sampling trajectories of the teacher model by matching the relative and absolute positions. The design of relative positions is inspired by PCM. Two discriminators are introduced accordingly in RAPM, one for matching relative positions and the other for absolute positions. Experimental results on StableDiffusion (SD) V1.5 and SDXL indicate that RAPM with 4 timesteps produces comparable FID scores as the best method with 1 timestep under very limited computational resources.
• Abstract（参考訳）: 拡散蒸留法である相対的位置マッチング(RAPM)を導入し、1つのGPU上で効率よく学習できる高品質な生成法を提案する。 近年の拡散蒸留研究は, 位相整合モデル (PCM) や分散整合蒸留 (DMD2) の改良手法により高分解能テキスト・画像生成に優れた成果を上げている。 しかし、これらの手法は訓練中に多くのGPU(例:8-64)と重要なバッチサイズ(例:128-2048)を必要とし、その結果、一部の研究者のリソースを超えるメモリと計算要求が生じる。 RAPMは, バッチサイズ1。 新しい手法は,教師モデルのサンプリング軌跡を,相対的位置と絶対的位置とを一致させて模倣しようとするものである。 相対位置の設計はPCMにインスパイアされている。 2つの識別器がRAPMで導入され、1つは相対位置をマッチングし、もう1つは絶対位置をマッチングする。 StableDiffusion (SD) V1.5 と SDXL の実験結果から, RAPM が 4 つのタイムステップを持つ場合, 非常に限られた計算資源の下で 1 タイムステップを持つ最良の方法として, FID スコアに匹敵する結果が得られた。

関連論文リスト

• Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
  本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。 7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
  論文  参考訳（メタデータ） (2025-02-17T12:58:12Z)
• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Diffusion Models Are Innate One-Step Generators [2.3359837623080613]
  拡散モデル(DM)は優れた高品質な結果をもたらす。 DMの層は異なる時間ステップで微分活性化され、単一のステップで画像を生成する固有の能力をもたらす。 提案手法は, CIFAR-10, AFHQv2 64x64 (FID 1.23), FFHQ 64x64 (FID 0.85), ImageNet 64x64 (FID 1.16) のSOTA結果を効率よく達成する。
  論文  参考訳（メタデータ） (2024-05-31T11:14:12Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)
• Learning Mixtures of Gaussians Using the DDPM Objective [11.086440815804226]
  本研究では, 拡散確率モデル(DDPM)の目標値の勾配勾配が混合モデルの真理パラメータを効率的に回収できることを証明した。 この証明の鍵となる要素は、スコアベース手法と他の2つの分散学習アプローチの新たな関連性である。
  論文  参考訳（メタデータ） (2023-07-03T17:44:22Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Online Knowledge Distillation for Efficient Pose Estimation [37.81478634850458]
  一段階的に人間の詩構造知識を蒸留し,新しいオンライン知識蒸留フレームワークについて検討する。 OKDHPは単一のマルチブランチネットワークをトレーニングし、予測されたヒートマップをそれぞれ取得する。 画素ワイドのKullback-Leibler分散を利用して、対象ヒートマップと予測値との差を最小限に抑える。
  論文  参考訳（メタデータ） (2021-08-04T14:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。