論文の概要: 2-Rectifications are Enough for Straight Flows: A Theoretical Insight into Wasserstein Convergence

• arxiv url: http://arxiv.org/abs/2410.14949v4
• Date: Sat, 21 Dec 2024 07:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:30.581480
• Title: 2-Rectifications are Enough for Straight Flows: A Theoretical Insight into Wasserstein Convergence
• Title（参考訳）: 2-Rectifications is enough for Straight Flows: a Theory Insight into Wasserstein Convergence
• Authors: Saptarshi Roy, Vansh Bansal, Purnamrita Sarkar, Alessandro Rinaldo,
• Abstract要約: 本稿では, 凝固流のサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。 ガウス流から有限の第一モーメントを持つ任意の一般目標分布への整流の場合、直流を達成するのに2つの整流が十分であることを示す。
• 参考スコア（独自算出の注目度）: 54.580605276017096
• License:
• Abstract: Diffusion models have emerged as a powerful tool for image generation and denoising. Typically, generative models learn a trajectory between the starting noise distribution and the target data distribution. Recently Liu et al. (2023b) designed a novel alternative generative model Rectified Flow (RF), which aims to learn straight flow trajectories from noise to data using a sequence of convex optimization problems with close ties to optimal transport. If the trajectory is curved, one must use many Euler discretization steps or novel strategies, such as exponential integrators, to achieve a satisfactory generation quality. In contrast, RF has been shown to theoretically straighten the trajectory through successive rectifications, reducing the number of function evaluations (NFEs) while sampling. It has also been shown empirically that RF may improve the straightness in two rectifications if one can solve the underlying optimization problem within a sufficiently small error. In this paper, we make two key theoretical contributions: 1) we provide the first theoretical analysis of the Wasserstein distance between the sampling distribution of RF and the target distribution. Our error rate is characterized by the number of discretization steps and a \textit{new formulation of straightness} stronger than that in the original work. 2) under a mild regularity assumption, we show that for a rectified flow from a Gaussian to any general target distribution with finite first moment (e.g. mixture of Gaussians), two rectifications are sufficient to achieve a straight flow, which is in line with the previous empirical findings. Additionally, we also present empirical results on both simulated and real datasets to validate our theoretical findings.
• Abstract（参考訳）: 拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 通常、生成モデルは開始音分布と対象データ分布の間の軌跡を学習する。 最近,Lou et al (2023b) は,音からデータへの直流軌跡の学習を目的とした新たな生成モデル Rectified Flow (RF) を設計した。 軌道が湾曲している場合、多くのオイラー離散化ステップや指数積分器のような新しい戦略を使って満足な生成品質を達成する必要がある。 対照的に、RFは連続的な修正によって軌道を理論的に直線化し、サンプリング中の関数評価(NFE)の回数を減らすことが示されている。 また、RFは、十分に小さな誤差で基礎となる最適化問題を解くことができれば、2つの補正において直線性を改善する可能性があることも実証的に示されている。 本稿では,2つの重要な理論的貢献を行う。 1) RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。 我々の誤り率の特徴は, 離散化ステップの数と, 元の作業よりも強固な「真正性の新しい定式化」によって特徴づけられる。 2) 厳密な正則性仮定の下では, ガウスから有限第一モーメント(例えばガウスの混合)を含む任意の一般目標分布への整流に対して, 2つの整流は, 以前の経験的知見と一致する直線流を達成するのに十分であることを示す。 さらに、シミュレーションと実データの両方に実験結果を示し、理論的な結果を検証する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Sequential Flow Straightening for Generative Modeling [14.521246785215808]
  本稿では,大域的トランケーション誤差を低減するために,確率フローを直線化する学習手法であるSeqRFを提案する。 CIFAR-10, CelebA-$64×64$, LSUN-Churchデータセットの超越結果を達成する。
  論文  参考訳（メタデータ） (2024-02-09T15:09:38Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow [32.459587479351846]
  我々は、(神経)常微分方程式(ODE)モデルを学ぶための驚くほど単純なアプローチである整流流を提示する。 補正フローは画像生成,画像から画像への変換,ドメイン適応に優しく作用することを示す。
  論文  参考訳（メタデータ） (2022-09-07T08:59:55Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。