論文の概要: One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls

• arxiv url: http://arxiv.org/abs/2311.15744v1
• Date: Mon, 27 Nov 2023 12:02:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 15:31:43.878049
• Title: One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls
• Title（参考訳）: 1つのステップ:拡散スケジュール欠陥の緩和と低周波制御の強化のためのVersatile Plug-and-Playモジュール
• Authors: Minghui Hu, Jianbin Zheng, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham
• Abstract要約: One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
• 参考スコア（独自算出の注目度）: 77.42510898755037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well known that many open-released foundational diffusion models have difficulty in generating images that substantially depart from average brightness, despite such images being present in the training data. This is due to an inconsistency: while denoising starts from pure Gaussian noise during inference, the training noise schedule retains residual data even in the final timestep distribution, due to difficulties in numerical conditioning in mainstream formulation, leading to unintended bias during inference. To mitigate this issue, certain $\epsilon$-prediction models are combined with an ad-hoc offset-noise methodology. In parallel, some contemporary models have adopted zero-terminal SNR noise schedules together with $\mathbf{v}$-prediction, which necessitate major alterations to pre-trained models. However, such changes risk destabilizing a large multitude of community-driven applications anchored on these pre-trained models. In light of this, our investigation revisits the fundamental causes, leading to our proposal of an innovative and principled remedy, called One More Step (OMS). By integrating a compact network and incorporating an additional simple yet effective step during inference, OMS elevates image fidelity and harmonizes the dichotomy between training and inference, while preserving original model parameters. Once trained, various pre-trained diffusion models with the same latent domain can share the same OMS module.
• Abstract（参考訳）: 多くの公開基礎拡散モデルでは、トレーニングデータにそのような画像が存在するにもかかわらず、平均輝度から実質的に離れた画像を生成するのが難しいことが知られている。 これは、推論中の純粋なガウス雑音から起立するが、トレーニングノイズスケジュールは、メインストリームの定式化における数値条件付けの困難のため、最終時間ステップ分布においても残余データを保持し、推論中に意図しないバイアスを生じさせる。 この問題を緩和するために、ある$\epsilon$-predictionモデルとアドホックオフセットノイズ手法を組み合わせる。 並行して、いくつかの現代モデルは、事前訓練されたモデルへの大きな変更を必要とする$\mathbf{v}$-predictionとともに、ゼロ終端SNRノイズスケジュールを採用した。 しかし、こうした変更は、これらの事前訓練されたモデルに固定された多数のコミュニティ主導のアプリケーションを不安定にするリスクがある。 これを踏まえて,我々の研究は根本的な原因を再検討し,革新的かつ原理的な治療法であるone more step (oms) の提案を導いた。 推論中にコンパクトネットワークを統合することで、OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。

関連論文リスト

• Decouple-Then-Merge: Towards Better Training for Diffusion Models [45.89372687373466]
  拡散モデルは、ノイズ破損の各ステップを反転させる一連のモデルを学ぶことで訓練される。 この研究はDeouple-then-Merge(DeMe)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-09T08:19:25Z)
• Zero-Shot Adaptation for Approximate Posterior Sampling of Diffusion Models in Inverse Problems [2.8237889121096034]
  画像の逆問題に対するゼロショット近似後方サンプリング(ZAPS)を提案する。 ZAPSはサンプリングステップの数を修正し、物理学誘導損失関数によるゼロショットトレーニングを使用して、不規則な時間ステップ毎にログライクな重みを学習する。 以上の結果から,ZAPSは推定時間を短縮し,不規則な騒音スケジュールに頑健性を提供し,再現性の向上を図っている。
  論文  参考訳（メタデータ） (2024-07-16T00:09:37Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Common Diffusion Noise Schedules and Sample Steps are Flawed [7.802281665410233]
  拡散ノイズスケジュールは、信号対雑音比がゼロになる最後の段階を強制しない。 拡散サンプリングの実装は、最後の段階から始まりません。 既存の実装において、欠陥のある設計が真の問題を引き起こすことを示す。
  論文  参考訳（メタデータ） (2023-05-15T12:21:08Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Self-Adapting Noise-Contrastive Estimation for Energy-Based Models [0.0]
  ノイズコントラスト推定(NCE)を用いたトレーニングエネルギーベースモデルは理論的には実現可能であるが、実際は困難である。 従来の研究は、別個の生成モデルとしてノイズ分布をモデル化し、EBMでこのノイズモデルを同時に訓練してきた。 本論文では,EMMの静的なインスタンスを学習軌道に沿って雑音分布として利用する自己適応型NCEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。