論文の概要: A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models

• arxiv url: http://arxiv.org/abs/2408.05927v1
• Date: Mon, 12 Aug 2024 05:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 14:45:05.046516
• Title: A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models
• Title（参考訳）: 拡散モデルにおける高速化サンプリングのための簡易早期実行フレームワーク
• Authors: Taehong Moon, Moonseok Choi, EungGu Yun, Jongmin Yoon, Gayoung Lee, Jaewoong Cho, Juho Lee,
• Abstract要約: 拡散モデルの現実的なボトルネックはサンプリング速度である。 スコア推定に必要な計算を適応的に割り当てる新しいフレームワークを提案する。 本研究では,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 14.859580045688487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown remarkable performance in generation problems over various domains including images, videos, text, and audio. A practical bottleneck of diffusion models is their sampling speed, due to the repeated evaluation of score estimation networks during the inference. In this work, we propose a novel framework capable of adaptively allocating compute required for the score estimation, thereby reducing the overall sampling time of diffusion models. We observe that the amount of computation required for the score estimation may vary along the time step for which the score is estimated. Based on this observation, we propose an early-exiting scheme, where we skip the subset of parameters in the score estimation network during the inference, based on a time-dependent exit schedule. Using the diffusion models for image synthesis, we show that our method could significantly improve the sampling throughput of the diffusion models without compromising image quality. Furthermore, we also demonstrate that our method seamlessly integrates with various types of solvers for faster sampling, capitalizing on their compatibility to enhance overall efficiency. The source code and our experiments are available at \url{https://github.com/taehong-moon/ee-diffusion}
• Abstract（参考訳）: 拡散モデルでは、画像、ビデオ、テキスト、オーディオなど、さまざまな領域における生成上の問題に顕著なパフォーマンスを示している。 拡散モデルの現実的なボトルネックは、推測中のスコア推定ネットワークの繰り返し評価によるサンプリング速度である。 本研究では,スコア推定に必要な計算を適応的にアロケートし,拡散モデル全体のサンプリング時間を短縮できる新しいフレームワークを提案する。 我々は、スコア推定に必要な計算量が、スコアを推定する時間ステップに沿って変化する可能性があることを観察する。 そこで,本研究では,時間依存の終了スケジュールに基づいて,スコア推定ネットワークにおけるパラメータのサブセットをスキップする早期退避方式を提案する。 画像合成における拡散モデルを用いて,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上させることができることを示す。 さらに,本手法が様々な種類の解法とシームレスに統合され,より高速なサンプリングが可能であることを実証した。 ソースコードと実験は \url{https://github.com/taehong-moon/ee-diffusion} で公開されている。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。 生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。 我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。 重要サンプリングは近似を提供するが、高い分散に悩まされる。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Diffusion-TS: Interpretable Diffusion for General Time Series Generation [6.639630994040322]
  Diffusion-TSは、高品質な時系列サンプルを生成する新しい拡散ベースのフレームワークである。 各拡散ステップのノイズの代わりにサンプルを直接再構成するようにモデルを訓練し、フーリエに基づく損失項を組み合わせた。 その結果,Diffusion-TSは時系列の様々な現実的解析において最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:39:23Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。