論文の概要: A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training

• arxiv url: http://arxiv.org/abs/2405.17403v1
• Date: Mon, 27 May 2024 17:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:04:26.442448
• Title: A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training
• Title（参考訳）: 時間ステップのクローズアップは拡散モデルトレーニングの3倍のスピードアップである
• Authors: Kai Wang, Yukun Zhou, Mingjia Shi, Zhihang Yuan, Yuzhang Shang, Xiaojiang Peng, Hanwang Zhang, Yang You,
• Abstract要約: そこで本研究では,時間ステップの近さをベースとして,拡散モデル学習のための新しい高速化手法を提案する。 プラグアンドプレイでアーキテクチャに依存しないアプローチとして、SpeeDは、さまざまな拡散アーキテクチャ、データセット、タスクにわたる3回のアクセラレーションを一貫して達成している。
• 参考スコア（独自算出の注目度）: 55.24119692275388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training diffusion models is always a computation-intensive task. In this paper, we introduce a novel speed-up method for diffusion model training, called, which is based on a closer look at time steps. Our key findings are: i) Time steps can be empirically divided into acceleration, deceleration, and convergence areas based on the process increment. ii) These time steps are imbalanced, with many concentrated in the convergence area. iii) The concentrated steps provide limited benefits for diffusion training. To address this, we design an asymmetric sampling strategy that reduces the frequency of steps from the convergence area while increasing the sampling probability for steps from other areas. Additionally, we propose a weighting strategy to emphasize the importance of time steps with rapid-change process increments. As a plug-and-play and architecture-agnostic approach, SpeeD consistently achieves 3-times acceleration across various diffusion architectures, datasets, and tasks. Notably, due to its simple design, our approach significantly reduces the cost of diffusion model training with minimal overhead. Our research enables more researchers to train diffusion models at a lower cost.
• Abstract（参考訳）: 拡散モデルの訓練は常に計算集約的なタスクである。 本稿では,時間ステップをよく見ることに基づく,拡散モデル学習のための新しい高速化手法を提案する。 私たちの主要な発見は次のとおりです。 一 プロセス増分に基づいて、タイムステップを加速、減速及び収束領域に経験的に分割することができる。 二 これらの時間段階は不均衡であり、多くは収束領域に集中している。 三 集中した段階が拡散訓練に限られた利益をもたらすこと。 そこで本研究では,他の領域からのステップのサンプリング確率を高めつつ,収束領域からのステップの頻度を減少させる非対称サンプリング戦略を設計する。 さらに,急激なプロセス増加を伴う時間ステップの重要性を強調する重み付け戦略を提案する。 プラグアンドプレイでアーキテクチャに依存しないアプローチとして、SpeeDは、さまざまな拡散アーキテクチャ、データセット、タスクをまたいだ3回のアクセラレーションを一貫して達成している。 特に,本手法は単純設計のため,最小限のオーバーヘッドで拡散モデルトレーニングのコストを大幅に削減する。 我々の研究は、より多くの研究者がより低コストで拡散モデルを訓練することを可能にする。

関連論文リスト

• Adaptive Non-Uniform Timestep Sampling for Diffusion Model Training [4.760537994346813]
  データ分布が複雑化するにつれて、収束のためのトレーニング拡散モデルがますます複雑になる。 より重要な時間ステップを優先する一様でない時間ステップサンプリング手法を提案する。 提案手法は, 各種データセット, スケジューリング戦略, 拡散アーキテクチャにまたがるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-11-15T07:12:18Z)
• Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
  拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。 近年,より高速な生成プロセスの自動探索技術が採用されている。 拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T06:28:05Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
  本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。 実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-19T08:57:24Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。