論文の概要: TraFlow: Trajectory Distillation on Pre-Trained Rectified Flow

• arxiv url: http://arxiv.org/abs/2502.16972v1
• Date: Mon, 24 Feb 2025 08:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:45.197408
• Title: TraFlow: Trajectory Distillation on Pre-Trained Rectified Flow
• Title（参考訳）: TraFlow: 予混合流動における軌道蒸留
• Authors: Zhangkai Wu, Xuhui Fan, Hongyu Wu, Longbing Cao,
• Abstract要約: 本稿では, 両者の利点を享受し, 数段階の発電を可能にする, トラジェクトリー蒸留法, モデル名を提案する。 TraFlowは一貫性トラジェクトリモデルの設定を採用し、トラジェクトリ全体を通して自己整合性と直線性の特性をさらに強化する。
• 参考スコア（独自算出の注目度）: 31.56008127287467
• License:
• Abstract: Majorities of distillation methods on pre-trained diffusion models or on pre-trained rectified flow, focus on either the distillation outputs or the trajectories between random noises and clean images to speed up sample generations from pre-trained models. In those trajectory-based distillation methods, consistency distillation requires the self-consistent trajectory projection to regulate the trajectory, which might avoid the common ODE approximation error {while still be concerning about sampling efficiencies}. At the same time, rectified flow distillations enforce straight trajectory for fast sampling, although an ODE solver is still required. In this work, we propose a trajectory distillation method, \modelname, that enjoys the benefits of both and enables few-step generations. TraFlow adopts the settings of consistency trajectory models, and further enforces the properties of self-consistency and straightness throughout the entire trajectory. These two properties are pursued by reaching a balance with following three targets: (1) reconstruct the output from pre-trained models; (2) learn the amount of changes by pre-trained models; (3) satisfy the self-consistency over its trajectory. Extensive experimental results have shown the effectiveness of our proposed method.
• Abstract（参考訳）: 予修拡散モデルや予修整流における蒸留法の特徴は, 予修拡散モデルから試料生成を高速化するために, 蒸留出力, ランダムノイズとクリーン画像の間の軌跡に焦点をあてることである。 これらのトラジェクトリに基づく蒸留法では、整合蒸留はトラジェクトリを制御するために自己整合性トラジェクトリ・プロジェクションを必要とする。 同時に、整流蒸留は、ODEソルバが依然として必要であるにもかかわらず、高速サンプリングのための直線軌道を強制する。 そこで本研究では, 双方の利点を享受し, 数段階の再生を可能にする, トラジェクトリ蒸留法である「モデル名」を提案する。 TraFlowは一貫性トラジェクトリモデルの設定を採用し、トラジェクトリ全体を通して自己整合性と直線性の特性をさらに強化する。 これらの2つの特性は,(1)事前学習モデルからの出力の再構築,(2)事前学習モデルによる変化量の学習,(3)軌道上の自己整合性を満たす,という3つの目標とバランスをとることによって追求される。 その結果,提案手法の有効性が示された。

関連論文リスト

• Target-driven Self-Distillation for Partial Observed Trajectories Forecasting [41.636125879090116]
  運動予測のための目標駆動型自己蒸留法(TSD)を提案する。 自己蒸留を用いて、モデルは完全に観察された軌跡と部分的に観察された軌跡の両方の特徴分布から学習する。 これにより、完全に観察されたシナリオと部分的に観察されたシナリオの両方において、モデルが正確に動きを予測する能力が向上する。
  論文  参考訳（メタデータ） (2025-01-28T07:46:13Z)
• Self-Corrected Flow Distillation for Consistent One-Step and Few-Step Text-to-Image Generation [3.8959351616076745]
  フローマッチングは、生成モデルをトレーニングするための有望なフレームワークとして登場した。 本稿では, 整合性モデルと対向学習を統合した自己補正型流動蒸留法を提案する。 この研究は、数ステップと1ステップのサンプリングで一貫した生成品質を達成するための先駆者である。
  論文  参考訳（メタデータ） (2024-12-22T07:48:49Z)
• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance [17.826285840875556]
  拡散モデルの生成タスクを加速するために、ターゲット駆動蒸留(TDD)を導入します。 TDDは、ターゲットのタイムステップの微妙な選択戦略を採用し、トレーニング効率を高めます。 非等価サンプリングとx0クリッピングを備えており、より柔軟で正確な画像サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-09-02T16:01:38Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
  歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。 本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。 実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
  論文  参考訳（メタデータ） (2020-09-21T13:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。