論文の概要: Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow

• arxiv url: http://arxiv.org/abs/2410.07303v2
• Date: Fri, 11 Oct 2024 16:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:06:44.099145
• Title: Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow
• Title（参考訳）: 直流拡散:直流の場合、直線性は必要ではない
• Authors: Fu-Yun Wang, Ling Yang, Zhaoyang Huang, Mengdi Wang, Hongsheng Li,
• Abstract要約: 拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
• 参考スコア（独自算出の注目度）: 65.51671121528858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have greatly improved visual generation but are hindered by slow generation speed due to the computationally intensive nature of solving generative ODEs. Rectified flow, a widely recognized solution, improves generation speed by straightening the ODE path. Its key components include: 1) using the diffusion form of flow-matching, 2) employing $\boldsymbol v$-prediction, and 3) performing rectification (a.k.a. reflow). In this paper, we argue that the success of rectification primarily lies in using a pretrained diffusion model to obtain matched pairs of noise and samples, followed by retraining with these matched noise-sample pairs. Based on this, components 1) and 2) are unnecessary. Furthermore, we highlight that straightness is not an essential training target for rectification; rather, it is a specific case of flow-matching models. The more critical training target is to achieve a first-order approximate ODE path, which is inherently curved for models like DDPM and Sub-VP. Building on this insight, we propose Rectified Diffusion, which generalizes the design space and application scope of rectification to encompass the broader category of diffusion models, rather than being restricted to flow-matching models. We validate our method on Stable Diffusion v1-5 and Stable Diffusion XL. Our method not only greatly simplifies the training procedure of rectified flow-based previous works (e.g., InstaFlow) but also achieves superior performance with even lower training cost. Our code is available at https://github.com/G-U-N/Rectified-Diffusion.
• Abstract（参考訳）: 拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 主な構成要素は以下のとおりである。 1) フローマッチングの拡散形式を用いる。 2)$\boldsymbol v$-predictionを採用し、 3) 整流(再流)を行う。 そこで本稿では,事前学習した拡散モデルを用いて,一致したノイズとサンプルのペアを得るとともに,一致したノイズとサンプルのペアを再学習する手法を提案する。 これに基づいて構成する。 1)と 2)不要。 さらに, 直線性は整合に不可欠な訓練対象ではなく, 流れマッチングモデルの特定の事例であることも強調する。 より重要なトレーニングターゲットは、DDPMやSub-VPのようなモデルに対して本質的に湾曲した一階近似ODEパスを達成することである。 この知見に基づいて、フローマッチングモデルに制限されるのではなく、より広い範囲の拡散モデルを含むように、設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。 安定拡散v1-5と安定拡散XLについて検証した。 本手法は,修正フローベース以前の作業(例えばInstaFlow)のトレーニング手順を大幅に単純化するだけでなく,トレーニングコストの低減を図り,優れたパフォーマンスを実現する。 私たちのコードはhttps://github.com/G-U-N/Rectified-Diffusion.comで公開されています。

関連論文リスト

• Constant Acceleration Flow [13.49794130678208]
  正規微分方程式(ODE)の流れを漸進的に直線化することにより、整流と再流の手順は高速に生成できる。 結合と呼ばれる画像と雑音のペアは、一定速度の直線軌道によって近似できるという仮定の下で機能する。 本稿では, 単純な定数加速度方程式に基づく新しいフレームワークである定数加速度流(CAF)を紹介する。
  論文  参考訳（メタデータ） (2024-11-01T02:43:56Z)
• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Improving the Training of Rectified Flows [14.652876697052156]
  拡散モデルは画像生成とビデオ生成に大いに期待できるが、最先端モデルからのサンプリングには高コストの数値積分が必要である。 この問題に対処するための1つのアプローチは整流流であり、これは繰り返し、トランケーションエラーの影響を受けにくい滑らかなODEパスを学習する。 本研究は,NFEの低い環境下においても,改質流れを訓練するための改良手法を提案する。 改良された改質流は, 整合蒸留, 進行蒸留といった最先端蒸留法を1段階, 2段階で上回った。
  論文  参考訳（メタデータ） (2024-05-30T17:56:04Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
  Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。 我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T07:55:52Z)
• Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow [32.459587479351846]
  我々は、(神経)常微分方程式(ODE)モデルを学ぶための驚くほど単純なアプローチである整流流を提示する。 補正フローは画像生成,画像から画像への変換,ドメイン適応に優しく作用することを示す。
  論文  参考訳（メタデータ） (2022-09-07T08:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。