論文の概要: Efficient Denoising using Score Embedding in Score-based Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.06661v1
- Date: Wed, 10 Apr 2024 00:05:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 15:59:05.361776
- Title: Efficient Denoising using Score Embedding in Score-based Diffusion Models
- Title（参考訳）: スコアベース拡散モデルにおけるスコア埋め込みを用いた効率的なDenoising
- Authors: Andrew S. Na, William Gao, Justin W. L. Wan,
- Abstract要約: 本稿では,スコアベース拡散モデルの学習効率を向上させることを提案する。
対数密度Fokker-Planck(FP)方程式を数値的に解くことでこれを実現できる。
事前に計算されたスコアを画像に埋め込んで、ワッサースタイン距離でのトレーニングを高速化する。
- 参考スコア（独自算出の注目度）: 0.24578723416255752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well known that training a denoising score-based diffusion models requires tens of thousands of epochs and a substantial number of image data to train the model. In this paper, we propose to increase the efficiency in training score-based diffusion models. Our method allows us to decrease the number of epochs needed to train the diffusion model. We accomplish this by solving the log-density Fokker-Planck (FP) Equation numerically to compute the score \textit{before} training. The pre-computed score is embedded into the image to encourage faster training under slice Wasserstein distance. Consequently, it also allows us to decrease the number of images we need to train the neural network to learn an accurate score. We demonstrate through our numerical experiments the improved performance of our proposed method compared to standard score-based diffusion models. Our proposed method achieves a similar quality to the standard method meaningfully faster.
- Abstract（参考訳）: スコアベース拡散モデルの学習には数万のエポックとかなりの量の画像データが必要であることはよく知られている。
本稿では,スコアベース拡散モデルの学習効率を向上させることを提案する。
本手法により,拡散モデルの学習に必要なエポック数を削減することができる。
対数密度Fokker-Planck (FP) 方程式を数値的に解き、スコアを演算する。
事前に計算されたスコアを画像に埋め込んで、ワッサースタイン距離でのトレーニングを高速化する。
これにより、正確なスコアを学習するためにニューラルネットワークをトレーニングするために必要な画像の数を削減できます。
本研究では,提案手法の性能向上を,従来のスコアベース拡散モデルと比較した数値実験により実証した。
提案手法は,標準手法に類似した品質を有意に高速化する。
関連論文リスト
- A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models [14.859580045688487]
拡散モデルの現実的なボトルネックはサンプリング速度である。
スコア推定に必要な計算を適応的に割り当てる新しいフレームワークを提案する。
本研究では,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上できることを示す。
論文 参考訳（メタデータ） (2024-08-12T05:33:45Z) - Data Attribution for Text-to-Image Models by Unlearning Synthesized Images [71.23012718682634]
テキスト・ツー・イメージ・モデルにおけるデータ帰属の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することである。
合成画像の非学習をシミュレートして効率的なデータ帰属法を提案する。
次に,学習過程の終了後に有意な損失偏差を伴う訓練画像を特定し,これらを影響力のあるものとしてラベル付けする。
論文 参考訳（メタデータ） (2024-06-13T17:59:44Z) - Plug-and-Play Diffusion Distillation [14.359953671470242]
誘導拡散モデルのための新しい蒸留手法を提案する。
オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。
提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
論文 参考訳（メタデータ） (2024-06-04T04:22:47Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳（メタデータ） (2023-07-15T04:48:35Z) - Simultaneous Image-to-Zero and Zero-to-Noise: Diffusion Models with Analytical Image Attenuation [53.04220377034574]
高品質(未条件)な画像生成のための前方拡散プロセスに解析的画像減衰プロセスを導入することを提案する。
本手法は,フォワード画像からノイズへのマッピングを,テクスチメジからゼロへのマッピングとテクスティケロ・ツー・ノイズマッピングの同時マッピングとして表現する。
我々は,CIFAR-10やCelebA-HQ-256などの無条件画像生成や,超解像,サリエンシ検出,エッジ検出,画像インペインティングなどの画像条件下での下流処理について実験を行った。
論文 参考訳（メタデータ） (2023-06-23T18:08:00Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Boosting Verified Training for Robust Image Classifications via
Abstraction [20.656457368486876]
本稿では,ロバストな画像分類器のための新しい,抽象的,認証されたトレーニング手法を提案する。
間隔のトレーニングにより、同じ間隔にマッピングされた全ての摂動画像を同じラベルに分類する。
また,この学習手法により,健全かつ完全なブラックボックス検証手法が実現される。
論文 参考訳（メタデータ） (2023-03-21T02:38:14Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳（メタデータ） (2022-10-06T18:03:56Z) - Score-based diffusion models for accelerated MRI [35.3148116010546]
本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。
我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
論文 参考訳（メタデータ） (2021-10-08T08:42:03Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳（メタデータ） (2021-05-29T09:26:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。