論文の概要: Improving the Training of Rectified Flows

• arxiv url: http://arxiv.org/abs/2405.20320v1
• Date: Thu, 30 May 2024 17:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:00:01.250218
• Title: Improving the Training of Rectified Flows
• Title（参考訳）: 凝固流の訓練の改善
• Authors: Sangyun Lee, Zinan Lin, Giulia Fanti,
• Abstract要約: 拡散モデルは画像生成とビデオ生成に大いに期待できるが、最先端モデルからのサンプリングには高コストの数値積分が必要である。 この問題に対処するための1つのアプローチは整流流であり、これは繰り返し、トランケーションエラーの影響を受けにくい滑らかなODEパスを学習する。 我々は,NFEの低い環境下においても,知識蒸留法に対抗して整流を訓練するための改良手法を提案する。
• 参考スコア（独自算出の注目度）: 14.652876697052156
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion models have shown great promise for image and video generation, but sampling from state-of-the-art models requires expensive numerical integration of a generative ODE. One approach for tackling this problem is rectified flows, which iteratively learn smooth ODE paths that are less susceptible to truncation error. However, rectified flows still require a relatively large number of function evaluations (NFEs). In this work, we propose improved techniques for training rectified flows, allowing them to compete with knowledge distillation methods even in the low NFE setting. Our main insight is that under realistic settings, a single iteration of the Reflow algorithm for training rectified flows is sufficient to learn nearly straight trajectories; hence, the current practice of using multiple Reflow iterations is unnecessary. We thus propose techniques to improve one-round training of rectified flows, including a U-shaped timestep distribution and LPIPS-Huber premetric. With these techniques, we improve the FID of the previous 2-rectified flow by up to 72% in the 1 NFE setting on CIFAR-10. On ImageNet 64$\times$64, our improved rectified flow outperforms the state-of-the-art distillation methods such as consistency distillation and progressive distillation in both one-step and two-step settings and rivals the performance of improved consistency training (iCT) in FID. Code is available at https://github.com/sangyun884/rfpp.
• Abstract（参考訳）: 拡散モデルは画像生成とビデオ生成に大いに期待できるが、最先端モデルからのサンプリングには高コストの数値積分が必要である。 この問題に対処するための1つのアプローチは整流流であり、これは繰り返し、トランケーションエラーの影響を受けにくい滑らかなODEパスを学習する。 しかし、修正フローには比較的多くの機能評価(NFE)が必要である。 そこで本研究では,NFEの低い環境下においても,知識蒸留法に対抗して整流を訓練するための改良手法を提案する。 我々の主な洞察は、現実的な設定下では、修正されたフローをトレーニングするReflowアルゴリズムの1つのイテレーションは、ほぼ直線的な軌跡を学ぶのに十分であるということです。 そこで本研究では,U字型タイムステップ分布とLPIPS-Huberプレメトリックを含む整流流の一周訓練を改善する手法を提案する。 これらの手法により,CIFAR-10上の1 NFE設定において,従来の2整流流のFIDを最大72%改善する。 ImageNet 64$\times$64では、改良された修正フローは、一段階と二段階の両方において、一貫した蒸留や漸進的な蒸留といった最先端の蒸留方法よりも優れ、FIDにおける改善された整合性トレーニング(iCT)の性能に匹敵する。 コードはhttps://github.com/sangyun884/rfpp.comから入手できる。

関連論文リスト

• Constant Acceleration Flow [13.49794130678208]
  正規微分方程式(ODE)の流れを漸進的に直線化することにより、整流と再流の手順は高速に生成できる。 結合と呼ばれる画像と雑音のペアは、一定速度の直線軌道によって近似できるという仮定の下で機能する。 本稿では, 単純な定数加速度方程式に基づく新しいフレームワークである定数加速度流(CAF)を紹介する。
  論文  参考訳（メタデータ） (2024-11-01T02:43:56Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Training-free Linear Image Inverses via Flows [17.291903204982326]
  本研究では,事前学習フローモデルを用いて,線形逆問題に対する学習自由度を求める手法を提案する。 提案手法では,高次元データセット上でのノイズの多い線形逆問題に対して,問題固有のチューニングは不要である。
  論文  参考訳（メタデータ） (2023-09-25T22:13:16Z)
• Balance is Essence: Accelerating Sparse Training via Adaptive Gradient Correction [29.61757744974324]
  ディープニューラルネットワークでは、メモリと計算コストが大幅に削減される。 スパーストレーニングは、これらのコストを削減する最も一般的な手法の1つである。 本研究では,この問題を克服し,時空協調効率の実現を目指す。
  論文  参考訳（メタデータ） (2023-01-09T18:50:03Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。