論文の概要: Improving Consistency Models with Generator-Induced Coupling

• arxiv url: http://arxiv.org/abs/2406.09570v1
• Date: Thu, 13 Jun 2024 20:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 17:14:47.046193
• Title: Improving Consistency Models with Generator-Induced Coupling
• Title（参考訳）: 発電機誘導結合による一貫性モデルの改善
• Authors: Thibaut Issenhuth, Ludovic Dos Santos, Jean-Yves Franceschi, Alain Rakotomamonjy,
• Abstract要約: 本研究では,入力ノイズデータを一貫性モデル自体から生成した出力に関連付ける新しい結合手法を提案する。 当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。
• 参考スコア（独自算出の注目度）: 14.939615590071917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consistency models are promising generative models as they distill the multi-step sampling of score-based diffusion in a single forward pass of a neural network. Without access to sampling trajectories of a pre-trained diffusion model, consistency training relies on proxy trajectories built on an independent coupling between the noise and data distributions. Refining this coupling is a key area of improvement to make it more adapted to the task and reduce the resulting randomness in the training process. In this work, we introduce a novel coupling associating the input noisy data with their generated output from the consistency model itself, as a proxy to the inaccessible diffusion flow output. Our affordable approach exploits the inherent capacity of consistency models to compute the transport map in a single step. We provide intuition and empirical evidence of the relevance of our generator-induced coupling (GC), which brings consistency training closer to score distillation. Consequently, our method not only accelerates consistency training convergence by significant amounts but also enhances the resulting performance. The code is available at: https://github.com/thibautissenhuth/consistency_GC.
• Abstract（参考訳）: 一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを蒸留することにより、生成モデルを約束する。 事前訓練された拡散モデルのサンプリング軌跡にアクセスすることなく、一貫性トレーニングはノイズとデータ分布の独立結合上に構築されたプロキシ軌跡に依存する。 この結合を精製することは、タスクに適応し、トレーニングプロセスにおける結果のランダムさを低減するために、改善の鍵となる領域である。 本研究では,入力ノイズデータを一貫性モデル自体から生成した出力と結びつけて,到達不能な拡散流出力のプロキシとする新しい結合手法を提案する。 当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。 我々は, 発電機誘導結合(GC)の関連性に関する直観的, 実証的な証拠を提供する。 したがって,本手法は一貫性トレーニングの収束をかなりの量で促進するだけでなく,結果として得られる性能も向上する。 コードは、https://github.com/thibautissenhuth/consistency_GCで入手できる。

関連論文リスト

• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。 重要サンプリングは近似を提供するが、高い分散に悩まされる。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Free Hunch: Denoiser Covariance Estimation for Diffusion Models Without Extra Costs [25.784316302130875]
  共分散情報は、学習データ及び生成軌道の曲率から自由に利用できる。 ノイズレベル間で共分散推定を伝達する新しい手法である Em (i) を用いて,これらの情報ソースを統合する。 この手法を線形逆問題に対して検証し、最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T00:23:09Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。