論文の概要: OMS-DPM: Optimizing the Model Schedule for Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2306.08860v1
• Date: Thu, 15 Jun 2023 05:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 16:34:33.075152
• Title: OMS-DPM: Optimizing the Model Schedule for Diffusion Probabilistic Models
• Title（参考訳）: OMS-DPM:拡散確率モデルのためのモデルスケジュールの最適化
• Authors: Enshu Liu, Xuefei Ning, Zinan Lin, Huazhong Yang and Yu Wang
• Abstract要約: 拡散確率モデル(英: Diffusion Probabilistic Model、DPM)は、最先端の生成品質を達成した新しい生成モデルである。 DPMの大きな欠点のひとつは、生成プロセスに必要な多数のニューラルネットワーク評価のために、生成速度が遅いことだ。 我々は、任意の生成時間予算と事前学習モデルのセットを与えられたモデルスケジュールを最適化するために、予測器ベースの探索アルゴリズムであるOMS-DPMを設計する。
• 参考スコア（独自算出の注目度）: 14.247927015966791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) are a new class of generative models that have achieved state-of-the-art generation quality in various domains. Despite the promise, one major drawback of DPMs is the slow generation speed due to the large number of neural network evaluations required in the generation process. In this paper, we reveal an overlooked dimension -- model schedule -- for optimizing the trade-off between generation quality and speed. More specifically, we observe that small models, though having worse generation quality when used alone, could outperform large models in certain generation steps. Therefore, unlike the traditional way of using a single model, using different models in different generation steps in a carefully designed \emph{model schedule} could potentially improve generation quality and speed \emph{simultaneously}. We design OMS-DPM, a predictor-based search algorithm, to optimize the model schedule given an arbitrary generation time budget and a set of pre-trained models. We demonstrate that OMS-DPM can find model schedules that improve generation quality and speed than prior state-of-the-art methods across CIFAR-10, CelebA, ImageNet, and LSUN datasets. When applied to the public checkpoints of the Stable Diffusion model, we are able to accelerate the sampling by 2$\times$ while maintaining the generation quality.
• Abstract（参考訳）: diffusion probabilistic models (dpms) は、様々な領域において最先端の生成品質を達成する新しい生成モデルである。 約束にもかかわらず、DPMの大きな欠点の1つは、生成プロセスに必要な多数のニューラルネットワーク評価のため、生成速度が遅いことである。 本稿では,世代品質と速度のトレードオフを最適化するために,見過ごされた次元 -- モデルスケジュール -- を明らかにする。 より具体的には、小さなモデルは、単独で使用する場合の世代品質は低下するが、特定の世代ステップで大きなモデルを上回る可能性があることを観察する。 したがって、単一のモデルを使用する従来の方法とは異なり、慎重に設計された 'emph{model schedule} で異なる生成ステップで異なるモデルを使用すると、生成の品質と速度が向上する可能性がある。 予測型探索アルゴリズムoms-dpmを設計し,任意の生成時間予算と事前学習したモデルセットを最適化する。 我々は,CIFAR-10, CelebA, ImageNet, LSUNデータセットを対象とする従来の最先端手法よりも, 生成品質と速度を向上させるモデルスケジュールをOMS-DPMで見つけることができることを示した。 安定拡散モデルの公開チェックポイントに適用すると、生成品質を維持しながらサンプリングを2$\times$で高速化することができる。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Flow Generator Matching [35.371071097381346]
  フロージェネレータマッチング(FGM)は、フローマッチングモデルのサンプリングをワンステップ生成に高速化するように設計されている。 CIFAR10の非条件生成ベンチマークでは、1段階のFGMモデルが新たなFr'echet Inception Distance(FID)スコア3.08を達成した。 MM-DiT-FGMワンステップテキスト・ツー・イメージモデルでは,業界レベルでの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-25T05:41:28Z)
• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• MGE: A Training-Free and Efficient Model Generation and Enhancement Scheme [10.48591131837771]
  本稿では,MGE(Merning-free and Efficient Model Generation and Enhancement Scheme)を提案する。 モデル生成プロセスにおいて、モデルパラメータの分布とモデルパフォーマンスの2つの側面を考慮する。 実験の結果、生成したモデルは通常の訓練によって得られたモデルに匹敵し、場合によっては優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-27T13:12:00Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Generative Marginalization Models [21.971818180264943]
  境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。 それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。 エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:14:29Z)
• Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
  カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。 適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。 最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-10-05T14:08:42Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。