論文の概要: Improving Consistency Models with Generator-Induced Coupling

• arxiv url: http://arxiv.org/abs/2406.09570v1
• Date: Thu, 13 Jun 2024 20:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-17 17:14:47.046193
• Title: Improving Consistency Models with Generator-Induced Coupling
• Title（参考訳）: 発電機誘導結合による一貫性モデルの改善
• Authors: Thibaut Issenhuth, Ludovic Dos Santos, Jean-Yves Franceschi, Alain Rakotomamonjy,
• Abstract要約: 本研究では,入力ノイズデータを一貫性モデル自体から生成した出力に関連付ける新しい結合手法を提案する。 当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。
• 参考スコア（独自算出の注目度）: 14.939615590071917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consistency models are promising generative models as they distill the multi-step sampling of score-based diffusion in a single forward pass of a neural network. Without access to sampling trajectories of a pre-trained diffusion model, consistency training relies on proxy trajectories built on an independent coupling between the noise and data distributions. Refining this coupling is a key area of improvement to make it more adapted to the task and reduce the resulting randomness in the training process. In this work, we introduce a novel coupling associating the input noisy data with their generated output from the consistency model itself, as a proxy to the inaccessible diffusion flow output. Our affordable approach exploits the inherent capacity of consistency models to compute the transport map in a single step. We provide intuition and empirical evidence of the relevance of our generator-induced coupling (GC), which brings consistency training closer to score distillation. Consequently, our method not only accelerates consistency training convergence by significant amounts but also enhances the resulting performance. The code is available at: https://github.com/thibautissenhuth/consistency_GC.
• Abstract（参考訳）: 一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを蒸留することにより、生成モデルを約束する。 事前訓練された拡散モデルのサンプリング軌跡にアクセスすることなく、一貫性トレーニングはノイズとデータ分布の独立結合上に構築されたプロキシ軌跡に依存する。 この結合を精製することは、タスクに適応し、トレーニングプロセスにおける結果のランダムさを低減するために、改善の鍵となる領域である。 本研究では,入力ノイズデータを一貫性モデル自体から生成した出力と結びつけて,到達不能な拡散流出力のプロキシとする新しい結合手法を提案する。 当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。 我々は, 発電機誘導結合(GC)の関連性に関する直観的, 実証的な証拠を提供する。 したがって,本手法は一貫性トレーニングの収束をかなりの量で促進するだけでなく,結果として得られる性能も向上する。 コードは、https://github.com/thibautissenhuth/consistency_GCで入手できる。

関連論文リスト

• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。 重要サンプリングは近似を提供するが、高い分散に悩まされる。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Stable Consistency Tuning: Understanding and Improving Consistency Models [40.2712218203989]
  拡散モデルは、より優れた生成品質を達成するが、復調の反復的な性質により、生成速度が遅くなる。 新しいジェネレーティブファミリーである一貫性モデルは、非常に高速なサンプリングで競争性能を達成する。 本稿では,拡散モデルの分解過程をマルコフ決定過程(MDP)としてモデル化し,時間差分学習(TD)による値推定としてフレーミング一貫性モデルのトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-10-24T17:55:52Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。 推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。 我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Free Hunch: Denoiser Covariance Estimation for Diffusion Models Without Extra Costs [25.784316302130875]
  ノイズのある観測値が与えられたクリーンデータの共分散は、拡散モデルのための多くのトレーニング不要誘導生成法において重要な量である。 学習データから自由な共分散情報と生成軌道の曲率を用いて,これらの問題を解決する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-15T00:23:09Z)
• Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
  本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。 提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。 実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-10T02:46:28Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。