論文の概要: MosaicDiff: Training-free Structural Pruning for Diffusion Model Acceleration Reflecting Pretraining Dynamics
- arxiv url: http://arxiv.org/abs/2510.11962v1
- Date: Mon, 13 Oct 2025 21:51:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.101768
- Title: MosaicDiff: Training-free Structural Pruning for Diffusion Model Acceleration Reflecting Pretraining Dynamics
- Title（参考訳）: MosaicDiff:事前学習ダイナミクスを反映した拡散モデル加速のための無訓練構造解析
- Authors: Bowei Guo, Shengkun Tang, Cong Zeng, Zhiqiang Shen,
- Abstract要約: 我々は,拡散事前学習力学と後学習サンプリング加速度を一致させるMosaicDiffという新しいフレームワークを導入する。
提案手法は, 出力品質を損なうことなく, サンプリングにおける大幅な高速化を実現する。
- 参考スコア（独自算出の注目度）: 34.69318408652807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are renowned for their generative capabilities, yet their pretraining processes exhibit distinct phases of learning speed that have been entirely overlooked in prior post-training acceleration efforts in the community. In this study, we introduce a novel framework called MosaicDiff that aligns diffusion pretraining dynamics with post-training sampling acceleration via trajectory-aware structural pruning. Our approach leverages the observation that the middle, fast-learning stage of diffusion pretraining requires more conservative pruning to preserve critical model features, while the early and later, slow-learning stages benefit from a more aggressive pruning strategy. This adaptive pruning mechanism is the first to explicitly mirror the inherent learning speed variations of diffusion pretraining, thereby harmonizing the model's inner training dynamics with its accelerated sampling process. Extensive experiments on DiT and SDXL demonstrate that our method achieves significant speed-ups in sampling without compromising output quality, outperforming previous state-of-the-art methods by large margins, also providing a new viewpoint for more efficient and robust training-free diffusion acceleration.
- Abstract（参考訳）: 拡散モデルは、その生成能力で有名であるが、その事前学習プロセスは、コミュニティの訓練後の加速努力で完全に見落とされた学習速度の異なるフェーズを示す。
本研究では,拡散事前学習のダイナミクスと,軌道認識型構造解析による学習後サンプリング加速とを整合させるMosaicDiffという新しいフレームワークを提案する。
提案手法は, 早期・後期の遅い学習段階は, より積極的なプルーニング戦略の恩恵を受ける一方で, 重要なモデル特徴を維持するためには, より保守的なプルーニングが必要であるという観察を生かしている。
この適応的なプルーニング機構は、拡散事前学習の固有の学習速度の変動を明示的に反映し、モデルの内部トレーニングダイナミクスを加速サンプリングプロセスと調和させる最初のものである。
DiT と SDXL の大規模な実験により,本手法は,出力品質を損なうことなくサンプリングの大幅な高速化を実現し,従来の最先端手法を大きなマージンで上回るとともに,より効率的で堅牢なトレーニングフリーな拡散加速のための新たな視点を提供する。
関連論文リスト
- Diff-ES: Stage-wise Structural Diffusion Pruning via Evolutionary Search [40.67449277026597]
textbfDiff-ESは、textbfEvolutionary textbfSearchを介して、段階的に構造化されたtextbfDiff-usion プルーニングフレームワークである。
筆者らのフレームワークは, 奥行きと幅幅を含む拡散モデルに対して, 既存の構造化プルーニング手法と自然に統合されている。
DiTとSDXLの実験により、Diff-ESは連続的にウォールクロックの高速化を実現し、生成品質の低下を最小限に抑えていることが示された。
論文 参考訳（メタデータ） (2026-03-05T12:18:40Z) - Analyzing and Improving Fast Sampling of Text-to-Image Diffusion Models [32.70019265781621]
テキストと画像の拡散モデルは前例のない成功を収めたが、限られたサンプリング予算の下で高品質な画像を作成するのに苦戦している。
本研究では,サンプリング軌道に沿った均一な幾何変動を確実にするスケジューリング戦略として,一定全回転スケジュール(TORS)を提案する。
TORSは以前のトレーニング不要加速法より優れており、Flux.1-DevとStable Diffusion 3.5の10段のサンプリングステップで高品質な画像を生成する。
論文 参考訳（メタデータ） (2026-02-28T18:09:44Z) - Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。
本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。
我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
論文 参考訳（メタデータ） (2025-10-20T02:40:06Z) - Pretrained Diffusion Models Are Inherently Skipped-Step Samplers [4.858858247064974]
繰り返し生成プロセスにおいて,複数の中間演示ステップをバイパスする機構であるスキップステップサンプリングを導入する。
我々は,このスキップステップサンプリング機構が標準拡散モデルと同じ学習目標から導出されることを実証した。
本稿では,加速サンプリング技術とDDIMを統合した改良型生成法を提案する。
論文 参考訳（メタデータ） (2025-08-21T04:45:13Z) - FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。
時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
論文 参考訳（メタデータ） (2025-06-01T19:55:33Z) - Mean Flows for One-step Generative Modeling [64.4997821467102]
本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。
ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。
提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
論文 参考訳（メタデータ） (2025-05-19T17:59:42Z) - Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-03-02T16:10:32Z) - Adaptive Non-Uniform Timestep Sampling for Diffusion Model Training [4.760537994346813]
データ分布が複雑化するにつれて、収束のためのトレーニング拡散モデルがますます複雑になる。
より重要な時間ステップを優先する一様でない時間ステップサンプリング手法を提案する。
提案手法は, 各種データセット, スケジューリング戦略, 拡散アーキテクチャにまたがるロバストな性能を示す。
論文 参考訳（メタデータ） (2024-11-15T07:12:18Z) - A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training [53.93563224892207]
そこで本研究では,時間ステップの近さをベースとして,拡散モデル学習のための新しい高速化手法を提案する。
プラグアンドプレイでアーキテクチャに依存しないアプローチとして、SpeeDは、さまざまな拡散アーキテクチャ、データセット、タスクにわたる3回のアクセラレーションを一貫して達成している。
論文 参考訳（メタデータ） (2024-05-27T17:51:36Z) - Preparing Lessons for Progressive Training on Language Models [75.88952808979087]
人工知能におけるトランスフォーマーの急速な進歩は、資源消費の増加と温室効果ガス排出のコストを犠牲にしている。
我々は,低層学習におけるtextbflayer functitextbfonality による extextbfpanding textbfoperation の授業をプレptextbfars で行うApolloを提案する。
実験では、アポロは最先端の加速比を達成し、事前訓練されたモデルを用いた手法にさえ対抗できることを示した。
論文 参考訳（メタデータ） (2024-01-17T13:04:14Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳（メタデータ） (2023-06-12T09:38:04Z) - DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal
Forecasting [18.86526240105348]
本稿では,確率的予測のための拡散モデルを効率的に訓練する手法を提案する。
我々は,標準拡散モデルの前方および逆過程を模倣する時間条件補間器と予測器ネットワークを訓練する。
本手法は, 海面温度, ナビエ-ストークス流, および湧水系の複雑な力学の確率論的予測を競合的に行う。
論文 参考訳（メタデータ） (2023-06-03T02:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。