論文の概要: Stabilizing, Scaling & Enhancing MeanFlow for Large-scale Diffusion Distillation
- arxiv url: http://arxiv.org/abs/2605.17834v1
- Date: Mon, 18 May 2026 04:16:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.806559
- Title: Stabilizing, Scaling & Enhancing MeanFlow for Large-scale Diffusion Distillation
- Title（参考訳）: 大規模拡散蒸留における平均流動の安定化, スケーリング, 促進
- Authors: Xiao He, Yang Li, Peizhen Zhang, Songtao Liu, Zhao Zhong, Nannan Wang,
- Abstract要約: 拡散モデルは顕著な生成能力を示すが、その高いレイテンシは実用的なデプロイメントを制限する。
MeanFlowはその簡潔な定式化と顕著なパフォーマンスのために、かなりの注目を集めている。
本稿では,MeanFlowの微分解を離散解に置き換えるウォームアップ手法を提案する。
- 参考スコア（独自算出の注目度）: 37.28053263183048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models exhibit remarkable generative capability, but their high latency limits practical deployment. Many studies have attempted to reduce sampling steps to accelerate inference. Among them, MeanFlow has attracted considerable attention due to its concise formulation and remarkable performance. Nevertheless, the instability of its optimization objective and the ''mean-seeking bias'' have limited its applicability to distill large-scale industrial models. To stabilize MeanFlow for distilling large-scale models, we first introduce a warm-up technique, in which the original differential solution of MeanFlow is replaced by a discrete solution. This design avoids training collapse caused by the MeanFlow target containing a stop-gradient term from an undertrained model. Once the model acquires a preliminary ability to fit the average velocity field, we switch the optimization objective back to the differential solution, enabling further refinement. Meanwhile, to alleviate the ''mean-seeking bias'' of MeanFlow under extremely few-step inference with complex target distributions, we incorporate trajectory distribution alignment as an auxiliary objective, encouraging the student model's trajectory distribution to align more closely with that of the teacher model. Our proposed distillation framework achieves superior performance compared to existing distillation approaches when applied to the text-to-image (T2I) model FLUX.1-dev (up to 12B parameters). Furthermore, when extended to the 80B-parameter state-of-the-art (SOTA) T2I model HunyuanImage 3.0, our method continues to demonstrate robust generalization and strong performance.
- Abstract（参考訳）: 拡散モデルは顕著な生成能力を示すが、その高いレイテンシは実用的なデプロイメントを制限する。
多くの研究が推論を加速するためにサンプリングステップを減らそうとしている。
その中でもMeanFlowは、簡潔な定式化と優れたパフォーマンスのために、かなりの注目を集めている。
それにもかかわらず、最適化目標の不安定性と「平均探索バイアス」は、大規模産業モデルを蒸留する適用性を制限している。
大規模モデルを蒸留するためにMeanFlowを安定化するために,まず,MeanFlowの微分解を離散解に置き換えるウォームアップ手法を導入する。
この設計は、訓練中のモデルから停止段階の項を含むMeanFlowターゲットによるトレーニングの崩壊を回避する。
モデルが平均速度場に適合する予備的な能力を得ると、最適化対象を微分解に切り替え、さらなる改善を可能にする。
一方,MeanFlowの「平均的バイアス」を,複雑な目標分布と非常に少ない段階の推論で緩和するために,トラジェクトリ分布アライメントを補助的目的として取り入れ,教師モデルのトラジェクトリ分布をより緊密に整合させるように学生モデルのトラジェクトリ分布を奨励する。
提案手法は,テキスト・トゥ・イメージ (T2I) モデルFLUX.1-dev (最大12Bパラメータ) に適用した場合,既存の蒸留手法と比較して優れた性能が得られる。
さらに,80Bパラメータ・オブ・ザ・アート (SOTA) T2I モデル Hunyuan Image 3.0 に拡張した場合,本手法は頑健な一般化と強靭な性能を示し続けている。
関連論文リスト
- One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。
我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
論文 参考訳（メタデータ） (2026-05-12T08:29:44Z) - P-Flow: Proxy-gradient Flows for Linear Inverse Problems [28.438072266272954]
P-Flowは、プロキシ勾配を利用してソースポイントを更新することで、再構築プロセスを安定化するフレームワークである。
さまざまな復元タスクに対する実験は、P-Flowが競争力のあるパフォーマンスを提供することを示している。
論文 参考訳（メタデータ） (2026-05-08T17:07:36Z) - InjectFlow: Weak Guides Strong via Orthogonal Injection for Flow Matching [1.974921946982281]
フローマッチング (FM) は高忠実度視覚生成の先駆的アプローチとして浮上している。
FMモデルはデータセットバイアスに敏感であり、アウト・オブ・ディストリビューションやマイノリティ・クラスのサンプルを生成する際に深刻な意味劣化を引き起こす。
InjectFlowは、初期速度場中に意味論を注入することで、新しいトレーニング不要な手法である。
論文 参考訳（メタデータ） (2026-03-19T11:07:14Z) - Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models [100.28111930893188]
今日の最高の生成モデルの中には、単一の可能性を計算するために、数百から数千の神経機能評価を必要とするものもあります。
本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。
F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。
論文 参考訳（メタデータ） (2025-12-02T10:48:20Z) - Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models [77.55829017952728]
EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。
DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
論文 参考訳（メタデータ） (2025-11-26T07:20:48Z) - FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。
本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
論文 参考訳（メタデータ） (2025-11-24T07:13:23Z) - Revisiting Diffusion Models: From Generative Pre-training to One-Step Generation [2.3359837623080613]
本研究は,拡散訓練を生成前訓練の一形態と見なすことができることを示す。
パラメータの85%が凍結した事前学習モデルの微調整により、ワンステップ生成モデルを作成する。
論文 参考訳（メタデータ） (2025-06-11T03:55:26Z) - Mean Flows for One-step Generative Modeling [64.4997821467102]
本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。
ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。
提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
論文 参考訳（メタデータ） (2025-05-19T17:59:42Z) - SlimFlow: Training Smaller One-Step Diffusion Models with Rectified Flow [24.213303324584906]
我々は, 強力な整流フローフレームワークに基づく, 小型かつ効率的な1ステップ拡散モデルを構築した。
我々は、FIDが5.02と15.7Mの1ステップ拡散モデルを訓練し、従来の最先端1ステップ拡散モデルよりも優れている。
論文 参考訳（メタデータ） (2024-07-17T16:38:45Z) - DF2: Distribution-Free Decision-Focused Learning [30.288876294435294]
決定中心学習(DFL)は,予測列最適化問題に対する強力なアプローチとして登場した。
DFLはモデル誤差、サンプル平均近似誤差、近似誤差の3つのボトルネックに直面している。
本稿では,この3つのボトルネックを緩和する決定自由学習手法であるDF2を提案する。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。