論文の概要: Flexiffusion: Training-Free Segment-Wise Neural Architecture Search for Efficient Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.02488v2
• Date: Wed, 04 Jun 2025 23:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 16:56:39.534744
• Title: Flexiffusion: Training-Free Segment-Wise Neural Architecture Search for Efficient Diffusion Models
• Title（参考訳）: Flexiffusion: 効率的な拡散モデルのための学習不要セグメントワイズニューラルネットワーク探索
• Authors: Hongtao Huang, Xiaojun Chang, Lina Yao,
• Abstract要約: 拡散モデル(DM)は高忠実度画像を生成できる強力な生成モデルであるが、高い計算コストで制約される。 我々は、事前訓練されたパラメータを変更することなく、生成スケジュールとモデルアーキテクチャを協調的に最適化する、トレーニング不要なNASフレームワークFlexiffusionを提案する。 我々の研究は、品質を犠牲にすることなく高速DMを検索するための資源効率の良いパラダイムを開拓した。
• 参考スコア（独自算出の注目度）: 50.260693393896716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models (DMs) are powerful generative models capable of producing high-fidelity images but are constrained by high computational costs due to iterative multi-step inference. While Neural Architecture Search (NAS) can optimize DMs, existing methods are hindered by retraining requirements, exponential search complexity from step-wise optimization, and slow evaluation relying on massive image generation. To address these challenges, we propose Flexiffusion, a training-free NAS framework that jointly optimizes generation schedules and model architectures without modifying pre-trained parameters. Our key insight is to decompose the generation process into flexible segments of equal length, where each segment dynamically combines three step types: full (complete computation), partial (cache-reused computation), and null (skipped computation). This segment-wise search space reduces the candidate pool exponentially compared to step-wise NAS while preserving architectural diversity. Further, we introduce relative FID (rFID), a lightweight evaluation metric for NAS that measures divergence from a teacher model's outputs instead of ground truth, slashing evaluation time by over $90\%$. In practice, Flexiffusion achieves at least $2\times$ acceleration across LDMs, Stable Diffusion, and DDPMs on ImageNet and MS-COCO, with FID degradation under $5\%$, outperforming prior NAS and caching methods. Notably, it attains $5.1\times$ speedup on Stable Diffusion with near-identical CLIP scores. Our work pioneers a resource-efficient paradigm for searching high-speed DMs without sacrificing quality.
• Abstract（参考訳）: 拡散モデル(DM)は、高忠実度画像を生成できる強力な生成モデルであるが、反復多段階推論による計算コストの増大によって制約される。 ニューラルアーキテクチャサーチ(NAS)はDMを最適化できるが、既存の手法は、要求の再トレーニング、ステップワイズ最適化からの指数探索の複雑さ、大規模な画像生成に依存する遅い評価によって妨げられる。 これらの課題に対処するために、事前訓練されたパラメータを変更することなく、生成スケジュールとモデルアーキテクチャを共同で最適化する、トレーニング不要なNASフレームワークであるFlexiffusionを提案する。 我々の重要な洞察は、生成プロセスを等しい長さの柔軟なセグメントに分解することであり、各セグメントは3つのステップタイプを動的に結合する。 このセグメントワイズ探索空間は、アーキテクチャの多様性を維持しながら、ステップワイズNASと比較して指数関数的に候補プールを減少させる。 さらに,本研究では,教師モデルのアウトプットから変化を測定するNASの軽量評価指標であるRative FID(rFID)を導入し,その評価時間を90\%以上削減する。 実際にFlexiffusionは、ImageNetとMS-COCO上のLDM、安定拡散、DDPMをまたいだ最低2ドル以上のアクセラレーションを実現している。 特に、Stable Diffusionで5.1\times$のスピードアップを達成し、CLIPスコアに近い。 我々の研究は、品質を犠牲にすることなく高速DMを検索するための資源効率の良いパラダイムを開拓した。

関連論文リスト

• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
  拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。 近年,より高速な生成プロセスの自動探索技術が採用されている。 拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T06:28:05Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
  我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。 各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-23T16:32:18Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。