論文の概要: Leveraging Previous Steps: A Training-free Fast Solver for Flow Diffusion

• arxiv url: http://arxiv.org/abs/2411.07627v1
• Date: Tue, 12 Nov 2024 08:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:20.171929
• Title: Leveraging Previous Steps: A Training-free Fast Solver for Flow Diffusion
• Title（参考訳）: 先進的なステップの活用 - フロー拡散のためのトレーニング不要な高速解法
• Authors: Kaiyu Song, Hanjiang Lai,
• Abstract要約: フロー拡散モデル (FDM) は近年, 高品質のため, 生成タスクの可能性を示唆している。 現在のFDMの常微分方程式(ODE)解法は依然として遅い生成に悩まされている。 高品質な生成を維持しつつ,NFEを低減できる新しいトレーニングフリーフローゾルバを提案する。
• 参考スコア（独自算出の注目度）: 7.3604864243987365
• License:
• Abstract: Flow diffusion models (FDMs) have recently shown potential in generation tasks due to the high generation quality. However, the current ordinary differential equation (ODE) solver for FDMs, e.g., the Euler solver, still suffers from slow generation since ODE solvers need many number function evaluations (NFE) to keep high-quality generation. In this paper, we propose a novel training-free flow-solver to reduce NFE while maintaining high-quality generation. The key insight for the flow-solver is to leverage the previous steps to reduce the NFE, where a cache is created to reuse these results from the previous steps. Specifically, the Taylor expansion is first used to approximate the ODE. To calculate the high-order derivatives of Taylor expansion, the flow-solver proposes to use the previous steps and a polynomial interpolation to approximate it, where the number of orders we could approximate equals the number of previous steps we cached. We also prove that the flow-solver has a more minor approximation error and faster generation speed. Experimental results on the CIFAR-10, CelebA-HQ, LSUN-Bedroom, LSUN-Church, ImageNet, and real text-to-image generation prove the efficiency of the flow-solver. Specifically, the flow-solver improves the FID-30K from 13.79 to 6.75, from 46.64 to 19.49 with $\text{NFE}=10$ on CIFAR-10 and LSUN-Church, respectively.
• Abstract（参考訳）: フロー拡散モデル (FDM) は近年, 高品質のため, 生成タスクの可能性を示唆している。 しかし、FDMの現在の常微分方程式(ODE)解法、例えばオイラー解法は、高品質な生成を維持するために多くの関数評価(NFE)を必要とするため、依然として遅い生成に苦しむ。 本稿では,NFEを低減し,高品質な生成を維持しつつ,新たなトレーニングフリーフローゾルバを提案する。 フローゾルバの主要な洞察は、以前のステップを活用してNFEを削減し、キャッシュを作成して、これらの結果を以前のステップから再利用する、というものだ。 具体的には、テイラー展開はODEを近似するために最初に使用される。 テイラー展開の高階微分を計算するために、フローソルバは前段と多項式補間を用いてそれを近似することを提案した。 また,フローソルバはより小さな近似誤差と高速な生成速度を持つことも証明した。 CIFAR-10、CelebA-HQ、LSUN-Bedroom、LSUN-Church、ImageNet、および実際のテキスト・ツー・イメージ生成の実験結果により、フロー・ソルバの有効性が証明された。 具体的には、フローソルバは FID-30K を 13.79 から 6.75 に改善し、46.64 から 19.49 にそれぞれ CIFAR-10 と LSUN-Church で $\text{NFE}= 10$ とした。

関連論文リスト

• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• PFDiff: Training-free Acceleration of Diffusion Models through the Gradient Guidance of Past and Future [4.595421654683656]
  拡散確率モデル (DPM) は画像生成において顕著な可能性を示しているが, サンプリング効率は多数のデノナイジングステップの必要性によって妨げられている。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
  論文  参考訳（メタデータ） (2024-08-16T16:12:44Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Improving the Training of Rectified Flows [14.652876697052156]
  拡散モデルは画像生成とビデオ生成に大いに期待できるが、最先端モデルからのサンプリングには高コストの数値積分が必要である。 この問題に対処するための1つのアプローチは整流流であり、これは繰り返し、トランケーションエラーの影響を受けにくい滑らかなODEパスを学習する。 本研究は,NFEの低い環境下においても,改質流れを訓練するための改良手法を提案する。 改良された改質流は, 整合蒸留, 進行蒸留といった最先端蒸留法を1段階, 2段階で上回った。
  論文  参考訳（メタデータ） (2024-05-30T17:56:04Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• GENIE: Higher-Order Denoising Diffusion Solvers [19.79516951865819]
  拡散モデル(DDM)は、生成モデルの強力なクラスとして登場した。 前方拡散プロセスはデータをゆるやかに摂動させ、深層モデルは徐々に妄想を覚える。 学習モデルによって定義される微分方程式(DE)を解くには、高品質な生成のために遅い反復解法が必要である。 本稿では,合成を著しく高速化する新しい高次解法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:18:28Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。