論文の概要: Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries and Denoisers

• arxiv url: http://arxiv.org/abs/2412.18730v4
• Date: Tue, 03 Jun 2025 03:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.462088
• Title: Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries and Denoisers
• Title（参考訳）: データジオメトリとデノイザに着目したフローマッチングODEダイナミクスの解明
• Authors: Zhengchao Wan, Qingsong Wang, Gal Mishne, Yusu Wang,
• Abstract要約: フローマッチング(FM)モデルは、ODEサンプルモデルに基づく拡散モデルを一般的なフレームワークに拡張する。 FMモデルの厳密な理論的解析は、サンプルの品質、安定性、より広範な適用性に不可欠である。 本稿では,サンプル軌道の包括的解析により,FMモデルの理論を推し進める。
• 参考スコア（独自算出の注目度）: 10.947094609205765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow matching (FM) models extend ODE sampler based diffusion models into a general framework, significantly reducing sampling steps through learned vector fields. However, the theoretical understanding of FM models, particularly how their sample trajectories interact with underlying data geometry, remains underexplored. A rigorous theoretical analysis of FM ODE is essential for sample quality, stability, and broader applicability. In this paper, we advance the theory of FM models through a comprehensive analysis of sample trajectories. Central to our theory is the discovery that the denoiser, a key component of FM models, guides ODE dynamics through attracting and absorbing behaviors that adapt to the data geometry. We identify and analyze the three stages of ODE evolution: in the initial and intermediate stages, trajectories move toward the mean and local clusters of the data. At the terminal stage, we rigorously establish the convergence of FM ODE under weak assumptions, addressing scenarios where the data lie on a low-dimensional submanifold-cases that previous results could not handle. Our terminal stage analysis offers insights into the memorization phenomenon and establishes equivariance properties of FM ODEs. These findings bridge critical gaps in understanding flow matching models, with practical implications for optimizing sampling strategies and architectures guided by the intrinsic geometry of data.
• Abstract（参考訳）: フローマッチング(FM)モデルは、ODEサンプルモデルに基づく拡散モデルを一般的なフレームワークに拡張し、学習ベクトル場によるサンプリングステップを著しく削減する。 しかし、FMモデルの理論的理解、特にそのサンプル軌道が基礎となるデータ幾何とどのように相互作用するかは未解明のままである。 FMODEの厳密な理論的解析は, 試料品質, 安定性, 適用性の向上に不可欠である。 本稿では,サンプル軌道の包括的解析により,FMモデルの理論を推し進める。 我々の理論の中心は、FMモデルのキーコンポーネントであるデノイザーが、データ幾何学に適応する振る舞いを誘引し、吸収することによってODEダイナミクスを導くことを発見したことである。 ODEの進化の3つの段階を同定し解析する: 初期および中期において、軌道はデータの平均および局所的なクラスターに向かって移動する。 終末段階では, FM ODE の収束を弱い仮定の下で厳密に確立し, 既往の結果が扱えない低次元のサブマニフォールドケース上にデータを配置するシナリオに対処する。 端末ステージ解析は,記憶現象の洞察を与え,FMODEの等価性を確立する。 これらの知見は,データ固有の幾何学によって導かれるサンプリング戦略とアーキテクチャを最適化するための実践的な意味を持つ,フローマッチングモデルの理解における重要なギャップを橋渡しする。

関連論文リスト

• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• A precise asymptotic analysis of learning diffusion models: theory and insights [37.30894159200853]
  本稿では,2層自動エンコーダによりパラメータ化されたフローモデルや拡散モデルについて考察する。 学習モデルにより生成されたサンプルの分布の低次元投影の厳密な特性を導出する。
  論文  参考訳（メタデータ） (2025-01-07T16:56:40Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Categorical Flow Matching on Statistical Manifolds [12.646272756981672]
  本稿では,情報幾何学に着想を得たパラメータ化確率尺度の多様体上でのフローマッチングフレームワークを提案する。 我々は,多様体間の微分同相法により数値安定性を克服する効率的なトレーニングとサンプリングアルゴリズムを開発した。 我々は、SFMが、既存のモデルがしばしば失敗するような統計多様体上でより複雑なパターンを学習できることを示した。
  論文  参考訳（メタデータ） (2024-05-26T05:50:39Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Explicit Flow Matching: On The Theory of Flow Matching Algorithms with Applications [3.5409403011214295]
  本稿では,フローベース生成モデルのトレーニングと解析を行うための新しい手法であるExplicit Flow Matching (ExFM)を提案する。 ExFMは、理論的に基礎付けられた損失関数、ExFM損失を利用して、トレーニング中のばらつきを実証的に低減し、より早く収束し、より安定した学習をもたらす。
  論文  参考訳（メタデータ） (2024-02-05T17:45:12Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。