論文の概要: Shortcutting Pre-trained Flow Matching Diffusion Models is Almost Free Lunch

• arxiv url: http://arxiv.org/abs/2510.17858v1
• Date: Wed, 15 Oct 2025 09:19:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.222364
• Title: Shortcutting Pre-trained Flow Matching Diffusion Models is Almost Free Lunch
• Title（参考訳）: ショートカット事前学習流整合拡散モデル
• Authors: Xu Cai, Yang Wu, Qianli Chen, Haoran Wu, Lichuan Xiang, Hongkai Wen,
• Abstract要約: 本稿では,大規模な事前学習フローマッチング拡散モデルを効率的な数ステップサンプリング器にショートカットする,超効率的なポストトレーニング手法を提案する。 提案手法は, 電子誘導蒸留から高速に学習し, 効率よく訓練し, A100日未満で3段階のフラックスを発生させる。
• 参考スコア（独自算出の注目度）: 27.49716727276869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an ultra-efficient post-training method for shortcutting large-scale pre-trained flow matching diffusion models into efficient few-step samplers, enabled by novel velocity field self-distillation. While shortcutting in flow matching, originally introduced by shortcut models, offers flexible trajectory-skipping capabilities, it requires a specialized step-size embedding incompatible with existing models unless retraining from scratch$\unicode{x2013}$a process nearly as costly as pretraining itself. Our key contribution is thus imparting a more aggressive shortcut mechanism to standard flow matching models (e.g., Flux), leveraging a unique distillation principle that obviates the need for step-size embedding. Working on the velocity field rather than sample space and learning rapidly from self-guided distillation in an online manner, our approach trains efficiently, e.g., producing a 3-step Flux less than one A100 day. Beyond distillation, our method can be incorporated into the pretraining stage itself, yielding models that inherently learn efficient, few-step flows without compromising quality. This capability also enables, to our knowledge, the first few-shot distillation method (e.g., 10 text-image pairs) for dozen-billion-parameter diffusion models, delivering state-of-the-art performance at almost free cost.
• Abstract（参考訳）: 本稿では, 大規模事前学習フローマッチング拡散モデルを, 新たな速度場自己蒸留法により, 効率的な数段サンプリング器にショートカットする超効率的なポストトレーニング手法を提案する。 フローマッチングのショートカットは、もともとショートカットモデルによって導入されたもので、柔軟なトラジェクトリ・スキッピング機能を提供するが、スクラッチ$\unicode{x2013}$aプロセスから再トレーニングしない限り、既存のモデルと互換性のない特別なステップサイズの埋め込みが必要である。 我々の重要な貢献は、より積極的なショートカット機構を標準フローマッチングモデル(例えば、Flux)に付与することであり、ステップサイズ埋め込みの必要性を回避した独自の蒸留原理を活用する。 A100日未満で3段階のフラックスを発生させるため, サンプル空間ではなく速度場で作業し, 自己誘導蒸留からオンラインで学習し, 効率よく, 例: 効率よく訓練する。 蒸留以外にも,本手法を事前学習段階に組み込むことが可能であり,品質を損なうことなく自然に効率よく数ステップのフローを学習できるモデルが得られる。 この能力は、我々の知る限り、数十億パラメータ拡散モデルに対する最初の数発の蒸留法(例:10個のテキストイメージペア)を可能にし、最先端の性能をほぼ無償で提供する。

関連論文リスト

• Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
  フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。 画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。 テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
  論文  参考訳（メタデータ） (2025-06-17T15:06:07Z)
• Revisiting Diffusion Models: From Generative Pre-training to One-Step Generation [2.3359837623080613]
  本研究は,拡散訓練を生成前訓練の一形態と見なすことができることを示す。 パラメータの85%が凍結した事前学習モデルの微調整により、ワンステップ生成モデルを作成する。
  論文  参考訳（メタデータ） (2025-06-11T03:55:26Z)
• Mean Flows for One-step Generative Modeling [64.4997821467102]
  本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。 ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。 提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
  論文  参考訳（メタデータ） (2025-05-19T17:59:42Z)
• SCoT: Unifying Consistency Models and Rectified Flows via Straight-Consistent Trajectories [31.60548236936739]
  本研究では,事前学習した拡散モデルに対する直線一貫性軌道(SCoT)モデルを提案する。 SCoTは、高速サンプリングのための両方のアプローチの利点を享受し、一貫した特性と直線的な性質のトラジェクトリを同時に生成する。
  論文  参考訳（メタデータ） (2025-02-24T08:57:19Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• SlimFlow: Training Smaller One-Step Diffusion Models with Rectified Flow [24.213303324584906]
  我々は, 強力な整流フローフレームワークに基づく, 小型かつ効率的な1ステップ拡散モデルを構築した。 我々は、FIDが5.02と15.7Mの1ステップ拡散モデルを訓練し、従来の最先端1ステップ拡散モデルよりも優れている。
  論文  参考訳（メタデータ） (2024-07-17T16:38:45Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。