論文の概要: Switched Flow Matching: Eliminating Singularities via Switching ODEs

• arxiv url: http://arxiv.org/abs/2405.11605v1
• Date: Sun, 19 May 2024 16:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:02:50.811573
• Title: Switched Flow Matching: Eliminating Singularities via Switching ODEs
• Title（参考訳）: Switched Flow Matching:Singing ODEによる特異点の除去
• Authors: Qunxi Zhu, Wei Lin,
• Abstract要約: フローマッチング(FM)のような連続時間生成モデルは、ある分布と別の分布の間を移動する確率経路を構築する。 しかし、推論の間、学習したモデルはフローを正確に統合するために複数のニューラルネットワーク評価を必要とすることが多い。 本研究では,一様の ODE を FM で使用するのに対して,スイッチング ODE による特異性を排除した Switched FM (SFM) を提案する。
• 参考スコア（独自算出の注目度）: 12.273757042838675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous-time generative models, such as Flow Matching (FM), construct probability paths to transport between one distribution and another through the simulation-free learning of the neural ordinary differential equations (ODEs). During inference, however, the learned model often requires multiple neural network evaluations to accurately integrate the flow, resulting in a slow sampling speed. We attribute the reason to the inherent (joint) heterogeneity of source and/or target distributions, namely the singularity problem, which poses challenges for training the neural ODEs effectively. To address this issue, we propose a more general framework, termed Switched FM (SFM), that eliminates singularities via switching ODEs, as opposed to using a uniform ODE in FM. Importantly, we theoretically show that FM cannot transport between two simple distributions due to the existence and uniqueness of initial value problems of ODEs, while these limitations can be well tackled by SFM. From an orthogonal perspective, our framework can seamlessly integrate with the existing advanced techniques, such as minibatch optimal transport, to further enhance the straightness of the flow, yielding a more efficient sampling process with reduced costs. We demonstrate the effectiveness of the newly proposed SFM through several numerical examples.
• Abstract（参考訳）: フローマッチング(FM)のような連続時間生成モデルは、ニューラル常微分方程式(ODE)のシミュレーションなし学習を通じて、ある分布と別の分布の間を移動する確率経路を構築する。 しかし、推論の間、学習したモデルはフローを正確に統合するために複数のニューラルネットワーク評価を必要とすることが多く、結果としてサンプリング速度が遅くなる。 我々は、ソースおよび/またはターゲット分布の固有の(結合した)不均一性、すなわち特異性問題に起因し、ニューラルODEを効果的に訓練する上での課題を提起する。 この問題に対処するために,一様ODEをFMで使用するのに対して,一様ODEを切り替えることにより特異性を排除した,より一般的なフレームワークであるSwitched FM(SFM)を提案する。 重要なことは、理論上、FMはODEの初期値問題の存在と特異性のために2つの単純な分布間では移動できないが、これらの制限はSFMによってうまく取り扱えることである。 直交的な観点から,我々のフレームワークは, 最適輸送などの既存の技術とシームレスに統合し, 流れの直線性をさらに向上し, コストの低減を図り, より効率的なサンプリングプロセスを実現する。 本稿では, 新たに提案したSFMの有効性をいくつかの数値例で示す。

関連論文リスト

• FFHFlow: A Flow-based Variational Approach for Multi-fingered Grasp Synthesis in Real Time [19.308304984645684]
  正規化フロー(NF)に基づくDGM(Deep Generative Model)の利用を提案する。 我々はまず,不完全点雲上に条件付きグリップ分布を学習するために,単一条件NF(cNFs)を直接適用することにより,多様性の向上を推し進めた。 これにより、我々は新しいフローベースd Deep Latent Variable Model (DLVM)を開発する動機となった。 変分オートエンコーダ(VAE)とは異なり、提案するDLVMは2つのcNFを事前分布と可能性分布に利用することにより、典型的な落とし穴に対処する。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• Flow matching achieves minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では、分布差の尺度である$p$-ワッサーシュタイン距離の観点から、FMの収束特性について論じる。 FM が 1 leq p leq 2$ で minmax の最適収束率を達成することを証明し、FM が拡散モデルに匹敵する収束率に到達できるという最初の理論的証拠を提示する。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。