論文の概要: SparseDM: Toward Sparse Efficient Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.10445v3
• Date: Wed, 20 Nov 2024 04:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:01.187825
• Title: SparseDM: Toward Sparse Efficient Diffusion Models
• Title（参考訳）: SparseDM: 疎拡散モデルに向けて
• Authors: Kafeng Wang, Jianfei Chen, He Li, Zhenpeng Mi, Jun Zhu,
• Abstract要約: 拡散モデルの展開効率を向上させるために,改良されたストレートトラフ推定器に基づく手法を提案する。 現状のトランスフォーマーに基づく拡散モデルを用いて行った4つのデータセット実験により,FIDを平均1.5だけ増加させながらMACを50ドル削減できることが実証された。
• 参考スコア（独自算出の注目度）: 20.783533300147866
• License:
• Abstract: Diffusion models have been extensively used in data generation tasks and are recognized as one of the best generative models. However, their time-consuming deployment, long inference time, and requirements on large memory limit their application on mobile devices. In this paper, we propose a method based on the improved Straight-Through Estimator to improve the deployment efficiency of diffusion models. Specifically, we add sparse masks to the Convolution and Linear layers in a pre-trained diffusion model, then use design progressive sparsity for model training in the fine-tuning stage, and switch the inference mask on and off, which supports a flexible choice of sparsity during inference according to the FID and MACs requirements. Experiments on four datasets conducted on a state-of-the-art Transformer-based diffusion model demonstrate that our method reduces MACs by $50\%$ while increasing FID by only 1.5 on average. Under other MACs conditions, the FID is also lower than 1$\sim$137 compared to other methods.
• Abstract（参考訳）: 拡散モデルはデータ生成タスクで広く使われており、最も優れた生成モデルの一つとして認識されている。 しかしながら、彼らの時間を要するデプロイメント、長い推測時間、大きなメモリに対する要求は、モバイルデバイス上のアプリケーションを制限する。 本稿では,拡散モデルの展開効率を向上させるために,改良されたストレートトラフ推定器に基づく手法を提案する。 具体的には、事前訓練された拡散モデルにおける畳み込み層と線形層にスパースマスクを追加し、微調整段階におけるモデルトレーニングに設計の進歩的スパーシティを使用し、FIDおよびMACs要求に応じて推論中のスパーシティの柔軟な選択をサポートする推論マスクをオン/オフに切り替える。 現状のトランスフォーマーに基づく拡散モデルを用いて行った4つのデータセット実験により,FIDを平均1.5だけ増加させながらMACを50\%の値で削減できることが実証された。 他のMAC条件下では、FIDは他の方法に比べて1$\sim$137以下である。

関連論文リスト

• Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
  本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。 AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
  論文  参考訳（メタデータ） (2024-11-19T21:26:30Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。