論文の概要: A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models

• arxiv url: http://arxiv.org/abs/2408.05927v1
• Date: Mon, 12 Aug 2024 05:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 14:45:05.046516
• Title: A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models
• Title（参考訳）: 拡散モデルにおける高速化サンプリングのための簡易早期実行フレームワーク
• Authors: Taehong Moon, Moonseok Choi, EungGu Yun, Jongmin Yoon, Gayoung Lee, Jaewoong Cho, Juho Lee,
• Abstract要約: 拡散モデルの現実的なボトルネックはサンプリング速度である。 スコア推定に必要な計算を適応的に割り当てる新しいフレームワークを提案する。 本研究では,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 14.859580045688487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown remarkable performance in generation problems over various domains including images, videos, text, and audio. A practical bottleneck of diffusion models is their sampling speed, due to the repeated evaluation of score estimation networks during the inference. In this work, we propose a novel framework capable of adaptively allocating compute required for the score estimation, thereby reducing the overall sampling time of diffusion models. We observe that the amount of computation required for the score estimation may vary along the time step for which the score is estimated. Based on this observation, we propose an early-exiting scheme, where we skip the subset of parameters in the score estimation network during the inference, based on a time-dependent exit schedule. Using the diffusion models for image synthesis, we show that our method could significantly improve the sampling throughput of the diffusion models without compromising image quality. Furthermore, we also demonstrate that our method seamlessly integrates with various types of solvers for faster sampling, capitalizing on their compatibility to enhance overall efficiency. The source code and our experiments are available at \url{https://github.com/taehong-moon/ee-diffusion}
• Abstract（参考訳）: 拡散モデルでは、画像、ビデオ、テキスト、オーディオなど、さまざまな領域における生成上の問題に顕著なパフォーマンスを示している。 拡散モデルの現実的なボトルネックは、推測中のスコア推定ネットワークの繰り返し評価によるサンプリング速度である。 本研究では,スコア推定に必要な計算を適応的にアロケートし,拡散モデル全体のサンプリング時間を短縮できる新しいフレームワークを提案する。 我々は、スコア推定に必要な計算量が、スコアを推定する時間ステップに沿って変化する可能性があることを観察する。 そこで,本研究では,時間依存の終了スケジュールに基づいて,スコア推定ネットワークにおけるパラメータのサブセットをスキップする早期退避方式を提案する。 画像合成における拡散モデルを用いて,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上させることができることを示す。 さらに,本手法が様々な種類の解法とシームレスに統合され,より高速なサンプリングが可能であることを実証した。 ソースコードと実験は \url{https://github.com/taehong-moon/ee-diffusion} で公開されている。

関連論文リスト

• Efficient Denoising using Score Embedding in Score-based Diffusion Models [0.24578723416255752]
  本稿では,スコアベース拡散モデルの学習効率を向上させることを提案する。 対数密度Fokker-Planck(FP)方程式を数値的に解くことでこれを実現できる。 事前に計算されたスコアを画像に埋め込んで、ワッサースタイン距離でのトレーニングを高速化する。
  論文  参考訳（メタデータ） (2024-04-10T00:05:55Z)
• Diffusion-TS: Interpretable Diffusion for General Time Series Generation [6.639630994040322]
  Diffusion-TSは、高品質な時系列サンプルを生成する新しい拡散ベースのフレームワークである。 各拡散ステップのノイズの代わりにサンプルを直接再構成するようにモデルを訓練し、フーリエに基づく損失項を組み合わせた。 その結果,Diffusion-TSは時系列の様々な現実的解析において最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:39:23Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Markup-to-Image Diffusion Models with Scheduled Sampling [111.30188533324954]
  画像生成の最近の進歩に基づき,画像にマークアップを描画するためのデータ駆動型アプローチを提案する。 このアプローチは拡散モデルに基づいており、デノナイジング操作のシーケンスを用いてデータの分布をパラメータ化する。 数式(La)、テーブルレイアウト(HTML)、シート音楽(LilyPond)、分子画像(SMILES)の4つのマークアップデータセットの実験を行った。
  論文  参考訳（メタデータ） (2022-10-11T04:56:12Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)
• Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting [4.1573460459258245]
  拡散確率モデル(拡散確率モデル)は、スコアマッチングやエネルギーベースの手法と密接に結びついている潜在変数モデルのクラスである。 我々のモデルは、データ可能性の変動境界を最適化して勾配を学習し、推論時にホワイトノイズを関心の分布のサンプルに変換する。
  論文  参考訳（メタデータ） (2021-01-28T15:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。