論文の概要: Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence

• arxiv url: http://arxiv.org/abs/2410.14949v1
• Date: Sat, 19 Oct 2024 02:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:02.818805
• Title: Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence
• Title（参考訳）: 整流流の直線性:ワッサーシュタイン収束の理論的考察
• Authors: Vansh Bansal, Saptarshi Roy, Purnamrita Sarkar, Alessandro Rinaldo,
• Abstract要約: Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
• 参考スコア（独自算出の注目度）: 54.580605276017096
• License:
• Abstract: Diffusion models have emerged as a powerful tool for image generation and denoising. Typically, generative models learn a trajectory between the starting noise distribution and the target data distribution. Recently Liu et al. (2023b) designed a novel alternative generative model Rectified Flow (RF), which aims to learn straight flow trajectories from noise to data using a sequence of convex optimization problems with close ties to optimal transport. If the trajectory is curved, one must use many Euler discretization steps or novel strategies, such as exponential integrators, to achieve a satisfactory generation quality. In contrast, RF has been shown to theoretically straighten the trajectory through successive rectifications, reducing the number of function evaluations (NFEs) while sampling. It has also been shown empirically that RF may improve the straightness in two rectifications if one can solve the underlying optimization problem within a sufficiently small error. In this paper, we make two key theoretical contributions: 1) we provide the first theoretical analysis of the Wasserstein distance between the sampling distribution of RF and the target distribution. Our error rate is characterized by the number of discretization steps and a new formulation of straightness stronger than that in the original work. 2) In line with the previous empirical findings, we show that, for a rectified flow from a Gaussian to a mixture of two Gaussians, two rectifications are sufficient to achieve a straight flow. Additionally, we also present empirical results on both simulated and real datasets to validate our theoretical findings.
• Abstract（参考訳）: 拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 通常、生成モデルは開始音分布と対象データ分布の間の軌跡を学習する。 最近,Lou et al (2023b) は,音からデータへの直流軌跡の学習を目的とした新たな生成モデル Rectified Flow (RF) を設計した。 軌道が湾曲している場合、多くのオイラー離散化ステップや指数積分器のような新しい戦略を使って満足な生成品質を達成する必要がある。 対照的に、RFは連続的な修正によって軌道を理論的に直線化し、サンプリング中の関数評価(NFE)の回数を減らすことが示されている。 また、RFは、十分に小さな誤差で基礎となる最適化問題を解くことができれば、2つの補正において直線性を改善する可能性があることも実証的に示されている。 本稿では,2つの重要な理論的貢献を行う。 1) RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。 我々の誤差速度は、離散化ステップの数と、元の作業よりも強い直線性の新たな定式化によって特徴づけられる。 2) 前回の経験から,ガウス流からガウス流に2つのガウス流が混ざり合っている場合,直流を得るには2つの補正が十分であることが示唆された。 さらに、シミュレーションと実データの両方に実験結果を示し、理論的な結果を検証する。

関連論文リスト

• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Sequential Flow Straightening for Generative Modeling [14.521246785215808]
  本稿では,大域的トランケーション誤差を低減するために,確率フローを直線化する学習手法であるSeqRFを提案する。 CIFAR-10, CelebA-$64×64$, LSUN-Churchデータセットの超越結果を達成する。
  論文  参考訳（メタデータ） (2024-02-09T15:09:38Z)
• Neural Sinkhorn Gradient Flow [11.4522103360875]
  本稿では,ワッサーシュタイン勾配流の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。 理論解析により, 試料径が無限大に大きくなるにつれて, 経験的近似の平均場限界は真の基礎速度場に収束することが示された。 高次元タスクにおけるモデル効率をさらに高めるために、二相NSGF++モデルが考案された。
  論文  参考訳（メタデータ） (2024-01-25T10:44:50Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow [32.459587479351846]
  我々は、(神経)常微分方程式(ODE)モデルを学ぶための驚くほど単純なアプローチである整流流を提示する。 補正フローは画像生成,画像から画像への変換,ドメイン適応に優しく作用することを示す。
  論文  参考訳（メタデータ） (2022-09-07T08:59:55Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。