論文の概要: Elucidating Flow Matching ODE Dynamics with respect to Data Geometries

• arxiv url: http://arxiv.org/abs/2412.18730v1
• Date: Wed, 25 Dec 2024 01:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:25:38.463937
• Title: Elucidating Flow Matching ODE Dynamics with respect to Data Geometries
• Title（参考訳）: データジオメトリによる流れマッチングODEダイナミクスの解明
• Authors: Gal Mishne, Zhengchao Wan, Qingsong Wang, Yusu Wang,
• Abstract要約: 拡散に基づく生成モデルが画像生成の標準となり, 学習ベクトル場によるサンプリングステップの削減により, 拡散モデルと比較して, ODEベースのサンプリングモデルとフローマッチングモデルにより効率が向上した。 我々は,ODE力学を駆動するデノイザを中心に,サンプル軌道の包括的解析を通じて,フローマッチングモデルの理論を推し進める。 解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。
• 参考スコア（独自算出の注目度）: 10.947094609205765
• License:
• Abstract: Diffusion-based generative models have become the standard for image generation. ODE-based samplers and flow matching models improve efficiency, in comparison to diffusion models, by reducing sampling steps through learned vector fields. However, the theoretical foundations of flow matching models remain limited, particularly regarding the convergence of individual sample trajectories at terminal time - a critical property that impacts sample quality and being critical assumption for models like the consistency model. In this paper, we advance the theory of flow matching models through a comprehensive analysis of sample trajectories, centered on the denoiser that drives ODE dynamics. We establish the existence, uniqueness and convergence of ODE trajectories at terminal time, ensuring stable sampling outcomes under minimal assumptions. Our analysis reveals how trajectories evolve from capturing global data features to local structures, providing the geometric characterization of per-sample behavior in flow matching models. We also explain the memorization phenomenon in diffusion-based training through our terminal time analysis. These findings bridge critical gaps in understanding flow matching models, with practical implications for sampling stability and model design.
• Abstract（参考訳）: 拡散に基づく生成モデルは画像生成の標準となっている。 ODEベースのサンプルモデルとフローマッチングモデルは、学習ベクトル場によるサンプリングステップを削減し、拡散モデルと比較して効率を向上する。 しかし、フローマッチングモデルの理論的基礎は、特に終端時の個々のサンプル軌跡の収束に関して限定的であり、これはサンプルの品質に影響を及ぼし、一貫性モデルのようなモデルにとって重要な仮定である。 本稿では,ODE力学を駆動するデノイザを中心にしたサンプル軌道の包括的解析により,フローマッチングモデルの理論を推し進める。 我々は, ODEトラジェクトリの存在, 特異性, 収束性を終端時に確立し, 最小の仮定の下で安定したサンプリング結果を確保する。 解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。 また,拡散学習における記憶現象を端末時間解析により説明する。 これらの知見は, フローマッチングモデルの理解における重要なギャップを橋渡しし, サンプリング安定性とモデル設計の実践的意義を示唆した。

関連論文リスト

• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。