論文の概要: Inductive Moment Matching

• arxiv url: http://arxiv.org/abs/2503.07565v5
• Date: Tue, 25 Mar 2025 06:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 10:43:50.946207
• Title: Inductive Moment Matching
• Title（参考訳）: インダクティブモーメントマッチング
• Authors: Linqi Zhou, Stefano Ermon, Jiaming Song,
• Abstract要約: Inductive Moment Matching (IMM) は1段階または数段階のサンプリングのための新しい生成モデルである。 IMMはImageNet-256x256上の拡散モデルを8ステップのみを用いて1.99 FIDで上回り、CIFAR-10上で1.98の最先端の2ステップFIDをスクラッチから訓練したモデルで達成する。
• 参考スコア（独自算出の注目度）: 80.96561758341664
• License:
• Abstract: Diffusion models and Flow Matching generate high-quality samples but are slow at inference, and distilling them into few-step models often leads to instability and extensive tuning. To resolve these trade-offs, we propose Inductive Moment Matching (IMM), a new class of generative models for one- or few-step sampling with a single-stage training procedure. Unlike distillation, IMM does not require pre-training initialization and optimization of two networks; and unlike Consistency Models, IMM guarantees distribution-level convergence and remains stable under various hyperparameters and standard model architectures. IMM surpasses diffusion models on ImageNet-256x256 with 1.99 FID using only 8 inference steps and achieves state-of-the-art 2-step FID of 1.98 on CIFAR-10 for a model trained from scratch.
• Abstract（参考訳）: 拡散モデルとフローマッチングは高品質なサンプルを生成するが、推論が遅いため、少数のステップモデルに蒸留することで不安定性や広範囲なチューニングにつながることが多い。 これらのトレードオフを解決するために,単段階学習法を用いて1段階ないし2段階のサンプリングを行うための新しい生成モデルであるインダクティブモーメントマッチング(IMM)を提案する。 蒸留とは異なり、IMMは2つのネットワークの初期化と最適化を事前訓練する必要はなく、一貫性モデルとは異なり、IDMは分布レベルの収束を保証し、様々なハイパーパラメータや標準モデルアーキテクチャの下で安定している。 IMMはImageNet-256x256上の拡散モデルを8ステップのみを用いて1.99 FIDで上回り、CIFAR-10上で1.98の最先端の2ステップFIDをスクラッチから訓練したモデルで達成する。

関連論文リスト

• One-Step Diffusion Distillation through Score Implicit Matching [74.91234358410281]
  本稿では,Score Implicit Matching (SIM) を用いて,事前学習した拡散モデルを単一ステップジェネレータモデルに蒸留する手法を提案する。 SIMはワンステップジェネレータに対して強い経験的性能を示す。 リードトランスに基づく拡散モデルにSIMを適用することにより,テキスト・ツー・イメージ生成のための単一ステップ生成器を蒸留する。
  論文  参考訳（メタデータ） (2024-10-22T08:17:20Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• Multistep Consistency Models [24.443707181138553]
  1ステップの一貫性モデルは従来の一貫性モデルであるが、$infty$ステップの一貫性モデルは拡散モデルである。 サンプル予算を1ステップから2～8ステップに増やすことで、より高い品質のサンプルを生成するモデルをより簡単にトレーニングすることが可能になります。 提案手法はテキストから画像への拡散モデルにスケールし,元のモデルの品質に近いサンプルを生成する。
  論文  参考訳（メタデータ） (2024-03-11T15:26:34Z)
• Bespoke Solvers for Generative Flow Models [33.20695061095209]
  コストのかかるサンプリングプロセスを緩和する既存の方法は、モデルの蒸留と専用のODEソルバの設計である。 Bespoke solvers"は、与えられた事前学習フローモデルのODEに合わせてカスタマイズされたカスタムODEソルバを構築するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-10-29T16:58:31Z)
• Improved Techniques for Training Consistency Models [13.475711217989975]
  本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。 整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。 これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
  論文  参考訳（メタデータ） (2023-10-22T05:33:38Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。