論文の概要: Explicit Flow Matching: On The Theory of Flow Matching Algorithms with Applications

• arxiv url: http://arxiv.org/abs/2402.03232v2
• Date: Mon, 1 Jul 2024 21:28:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 07:49:20.995737
• Title: Explicit Flow Matching: On The Theory of Flow Matching Algorithms with Applications
• Title（参考訳）: 明示的なフローマッチング: フローマッチングアルゴリズムと応用の理論について
• Authors: Gleb Ryzhakov, Svetlana Pavlova, Egor Sevriugov, Ivan Oseledets,
• Abstract要約: 本稿では,フローベース生成モデルのトレーニングと解析を行うための新しい手法であるExplicit Flow Matching (ExFM)を提案する。 ExFMは、理論的に基礎付けられた損失関数、ExFM損失を利用して、トレーニング中のばらつきを実証的に低減し、より早く収束し、より安定した学習をもたらす。
• 参考スコア（独自算出の注目度）: 3.5409403011214295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel method, Explicit Flow Matching (ExFM), for training and analyzing flow-based generative models. ExFM leverages a theoretically grounded loss function, ExFM loss (a tractable form of Flow Matching (FM) loss), to demonstrably reduce variance during training, leading to faster convergence and more stable learning. Based on theoretical analysis of these formulas, we derived exact expressions for the vector field (and score in stochastic cases) for model examples (in particular, for separating multiple exponents), and in some simple cases, exact solutions for trajectories. In addition, we also investigated simple cases of diffusion generative models by adding a stochastic term and obtained an explicit form of the expression for score. While the paper emphasizes the theoretical underpinnings of ExFM, it also showcases its effectiveness through numerical experiments on various datasets, including high-dimensional ones. Compared to traditional FM methods, ExFM achieves superior performance in terms of both learning speed and final outcomes.
• Abstract（参考訳）: 本稿では,フローベース生成モデルのトレーニングと解析を行うための新しい手法であるExplicit Flow Matching (ExFM)を提案する。 ExFMは、理論的に基底的な損失関数であるExFM損失(フローマッチング(FM)損失のトラクタブルな形式)を利用して、トレーニング中のばらつきを実証的に低減し、より高速な収束とより安定した学習をもたらす。 これらの公式の理論的解析に基づいて、モデル例(特に複数の指数を分離する)のベクトル場(および確率的な場合のスコア)の正確な式と、いくつかの単純な場合において、軌跡の正確な解を導出した。 さらに,確率項を追加して拡散生成モデルの簡単な場合も検討し,楽譜表現の明示的な形式を得た。 本論文は,ExFMの理論的基盤を強調する一方で,高次元データを含む各種データセット上での数値実験により,その有効性を示す。 従来のFM法と比較して、ExFMは学習速度と最終結果の両方において優れた性能を発揮する。

関連論文リスト

• DFM: Interpolant-free Dual Flow Matching [0.8192907805418583]
  モデルベクトル場に関する明示的な仮定を伴わない補間自由二重流れマッチング(DFM)手法を提案する。 SMAPによる教師なし異常検出実験は、最大極度またはFM目標で訓練されたCNFと比較して、DFMの利点を示す。
  論文  参考訳（メタデータ） (2024-10-11T20:46:04Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。 我々は新たな目標関数と関連する損失を導出するが、これは特異データ分布においても有界である。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。