論文の概要: Convergence Analysis of Flow Matching in Latent Space with Transformers

• arxiv url: http://arxiv.org/abs/2404.02538v2
• Date: Sun, 28 Apr 2024 10:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 22:56:04.168897
• Title: Convergence Analysis of Flow Matching in Latent Space with Transformers
• Title（参考訳）: 変圧器を用いた潜時空間流れの収束解析
• Authors: Yuling Jiao, Yanming Lai, Yang Wang, Bokai Yan,
• Abstract要約: 本稿では,ODEに基づく生成モデル,特にフローマッチングに関する理論的収束保証について述べる。 トレーニング済みのオートエンコーダネットワークを用いて、高次元の原入力を低次元の潜在空間にマッピングし、トランスフォーマーネットワークをトレーニングし、標準正規分布から目標潜在分布への変換速度場を予測する。
• 参考スコア（独自算出の注目度）: 7.069772598731282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present theoretical convergence guarantees for ODE-based generative models, specifically flow matching. We use a pre-trained autoencoder network to map high-dimensional original inputs to a low-dimensional latent space, where a transformer network is trained to predict the velocity field of the transformation from a standard normal distribution to the target latent distribution. Our error analysis demonstrates the effectiveness of this approach, showing that the distribution of samples generated via estimated ODE flow converges to the target distribution in the Wasserstein-2 distance under mild and practical assumptions. Furthermore, we show that arbitrary smooth functions can be effectively approximated by transformer networks with Lipschitz continuity, which may be of independent interest.
• Abstract（参考訳）: 本稿では,ODEに基づく生成モデル,特にフローマッチングに関する理論的収束保証について述べる。 トレーニング済みのオートエンコーダネットワークを用いて、高次元の原入力を低次元の潜在空間にマッピングし、トランスフォーマーネットワークをトレーニングし、標準正規分布から目標潜在分布への変換速度場を予測する。 提案手法の誤差解析により, 提案手法の有効性を実証し, 推定ODEフローにより生成された試料の分布が, 軽度かつ実用的な仮定の下で, ワッサーシュタイン2距離の目標分布に収束することを示した。 さらに、任意の滑らかな関数は、独立な関心を持つかもしれないリプシッツ連続性を持つ変圧器ネットワークによって効果的に近似できることを示す。

関連論文リスト

• Adaptivity and Convergence of Probability Flow ODEs in Diffusion Generative Models [5.064404027153094]
  本稿では,その実用性で知られた拡散型サンプル装置である,確率フローODEの理論的保証の確立に寄与する。 精度の高いスコア関数推定では,確率フローODEサンプリング器は全変動距離において$O(k/T)$の収束率を達成する。 この次元自由収束速度は、通常より大きな周囲次元でスケールする既存の結果を改善する。
  論文  参考訳（メタデータ） (2025-01-31T03:10:10Z)
• Solving High-dimensional Inverse Problems Using Amortized Likelihood-free Inference with Noisy and Incomplete Data [43.43717668587333]
  本研究では,高次元逆問題に対する正規化フローに基づく確率論的逆転法を提案する。 提案手法は,データ圧縮のための要約ネットワークとパラメータ推定のための推論ネットワークの2つの補完ネットワークで構成されている。 提案手法を地下水水文学における逆問題に適用し,空間的に疎らな時系列観測に基づく対流電界の後方分布を推定する。
  論文  参考訳（メタデータ） (2024-12-05T19:13:17Z)
• 2-Rectifications are Enough for Straight Flows: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  本稿では, 凝固流のサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。 ガウス流から有限の第一モーメントを持つ任意の一般目標分布への整流の場合、直流を達成するのに2つの整流が十分であることを示す。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Arbitrary Distributions Mapping via SyMOT-Flow: A Flow-based Approach Integrating Maximum Mean Discrepancy and Optimal Transport [2.7309692684728617]
  本稿では,2つの未知分布からの標本間の対称最大平均誤差を最小化することにより,可逆変換を訓練するSyMOT-Flowと呼ばれる新しいモデルを提案する。 結果として得られる変換はより安定で正確なサンプル生成をもたらす。
  論文  参考訳（メタデータ） (2023-08-26T08:39:16Z)
• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。