論文の概要: Elucidating Rectified Flow with Deterministic Sampler: Polynomial Discretization Complexity for Multi and One-step Models
- arxiv url: http://arxiv.org/abs/2508.08735v1
- Date: Tue, 12 Aug 2025 08:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.351012
- Title: Elucidating Rectified Flow with Deterministic Sampler: Polynomial Discretization Complexity for Multi and One-step Models
- Title(参考訳): 決定論的サンプリングによる整流流れの解明:多段階・一段階モデルにおける多項式離散化複雑性
- Authors: Ruofeng Yang, Zhaoyu Zhu, Bo Jiang, Cheng Chen, Shuai Li,
- Abstract要約: 複数ステップのRFモデルと1ステップのRFモデルに対して,決定論的サンプリングを同時に行うことで,最初の離散化複雑性を証明した。
拡散モデルの予測・補正フレームワークにインスパイアされた多段階設定に対して,Langevin 過程を補正器として導入する。
一段階拡散モデルに対する最初の離散化複雑性を提供し、一段階拡散モデルに対する事前結果を改善する。
- 参考スコア(独自算出の注目度): 13.04361548974664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, rectified flow (RF)-based models have achieved state-of-the-art performance in many areas for both the multi-step and one-step generation. However, only a few theoretical works analyze the discretization complexity of RF-based models. Existing works either focus on flow-based models with stochastic samplers or establish complexity results that exhibit exponential dependence on problem parameters. In this work, under the realistic bounded support assumption, we prove the first polynomial discretization complexity for multi-step and one-step RF-based models with a deterministic sampler simultaneously. For the multi-step setting, inspired by the predictor-corrector framework of diffusion models, we introduce a Langevin process as a corrector and show that RF-based models can achieve better polynomial discretization complexity than diffusion models. To achieve this result, we conduct a detailed analysis of the RF-based model and explain why it is better than previous popular models, such as variance preserving (VP) and variance exploding (VE)-based models. Based on the observation of multi-step RF-based models, we further provide the first polynomial discretization complexity result for one-step RF-based models, improving upon prior results for one-step diffusion-based models. These findings mark the first step toward theoretically understanding the impressive empirical performance of RF-based models in both multi-step and one-step generation.
- Abstract(参考訳): 近年,多段・一段生成の両分野において,改質流(RF)モデルによる最先端性能が達成されている。
しかし、RFモデルにおける離散化の複雑さを分析する理論的研究はごくわずかである。
既存の研究は、確率的なサンプルを用いたフローベースモデルに焦点を当てるか、問題パラメータに指数関数的依存を示す複雑性結果を確立するかのどちらかである。
本研究では,現実的な有界サポート仮定の下で,複数ステップと1ステップのRFモデルに対して,決定論的サンプリングを同時に行う最初の多項式離散化複雑性を証明した。
拡散モデルの予測・補正フレームワークにインスパイアされた多段階設定では、Langevin過程を補正器として導入し、拡散モデルよりもRFモデルの方が多項式の離散化の複雑さを向上できることを示す。
この結果を得るために、RFモデルの詳細解析を行い、分散保存(VP)や分散爆発(VE)ベースのモデルといった従来の人気モデルよりも優れている理由を説明する。
複数ステップのRFベースモデルの観測に基づいて, 1ステップのRFベースモデルに対して, 1ステップの拡散ベースモデルに対する最初の多項式離散化複雑性結果も提供し, 1ステップの拡散ベースモデルに対する事前結果を改善する。
これらの結果は、多段階と一段階の両方で、RFモデルによる印象的な経験的性能を理論的に理解する最初のステップである。
関連論文リスト
- Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。
本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。
統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
論文 参考訳(メタデータ) (2025-07-21T17:10:16Z) - Principled model selection for stochastic dynamics [0.0]
PASTISは、確率推定統計と極値理論を組み合わせて超流動パラメータを抑圧する原理的手法である。
サンプリング率や測定誤差が低い場合でも、最小限のモデルを確実に識別する。
これは偏微分方程式に適用され、生態ネットワークや反応拡散力学にも適用される。
論文 参考訳(メタデータ) (2025-01-17T18:23:16Z) - Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。
損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。
その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-10-11T10:53:03Z) - Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。
本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
論文 参考訳(メタデータ) (2024-06-23T20:34:18Z) - The Emergence of Reproducibility and Generalizability in Diffusion Models [10.188731323681575]
同じスタートノイズ入力と決定論的サンプリングが与えられた場合、異なる拡散モデルはしばしば驚くほど類似した出力が得られる。
拡散モデルはトレーニングデータサイズの影響を受けやすい分布を学習していることを示す。
この価値ある性質は、条件付き使用、逆問題解決、モデル微調整など、拡散モデルの多くの変種に一般化される。
論文 参考訳(メタデータ) (2023-10-08T19:02:46Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。