論文の概要: Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.15341v1
• Date: Thu, 19 Dec 2024 19:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:22.604924
• Title: Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models
• Title（参考訳）: Pruned Diffusion Modelの効率的な微調整と概念抑圧
• Authors: Reza Shirkavand, Peiran Yu, Shangqian Gao, Gowthami Somepalli, Tom Goldstein, Heng Huang,
• Abstract要約: 本稿では,2段階の拡散モデルに対する新しい最適化フレームワークを提案する。 このフレームワークは、微調整と未学習のプロセスを統一的なフェーズに統合する。 様々なプルーニングや概念未学習の手法と互換性がある。
• 参考スコア（独自算出の注目度）: 93.76814568163353
• License:
• Abstract: Recent advances in diffusion generative models have yielded remarkable progress. While the quality of generated content continues to improve, these models have grown considerably in size and complexity. This increasing computational burden poses significant challenges, particularly in resource-constrained deployment scenarios such as mobile devices. The combination of model pruning and knowledge distillation has emerged as a promising solution to reduce computational demands while preserving generation quality. However, this technique inadvertently propagates undesirable behaviors, including the generation of copyrighted content and unsafe concepts, even when such instances are absent from the fine-tuning dataset. In this paper, we propose a novel bilevel optimization framework for pruned diffusion models that consolidates the fine-tuning and unlearning processes into a unified phase. Our approach maintains the principal advantages of distillation-namely, efficient convergence and style transfer capabilities-while selectively suppressing the generation of unwanted content. This plug-in framework is compatible with various pruning and concept unlearning methods, facilitating efficient, safe deployment of diffusion models in controlled environments.
• Abstract（参考訳）: 拡散生成モデルの最近の進歩は顕著な進歩をもたらした。 生成されたコンテンツの品質は改善され続けているが、これらのモデルはサイズと複雑さが大きく成長している。 この計算負荷の増加は、特にモバイルデバイスのようなリソース制限されたデプロイメントシナリオにおいて、大きな課題をもたらす。 モデルプルーニングと知識蒸留の組み合わせは, 生成品質を保ちながら, 計算要求を減らそうとする有望な解決策として現れてきた。 しかし、この手法は、微調整データセットが欠如している場合でも、著作権のあるコンテンツの生成や安全でない概念など、望ましくない振る舞いを不注意に広める。 本稿では,微調整処理と未学習処理を統一的なフェーズに集約する,分岐拡散モデルのための新しい二段階最適化フレームワークを提案する。 提案手法は, 蒸留, 効率のよいコンバージェンス, スタイル伝達機能の主要な利点を維持しながら, 不要成分の発生を選択的に抑制する。 このプラグインフレームワークは、様々なプルーニングや概念未学習の手法と互換性があり、制御された環境における拡散モデルの効率的な安全なデプロイを容易にする。

関連論文リスト

• Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
  本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。 AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
  論文  参考訳（メタデータ） (2024-11-19T21:26:30Z)
• Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
  本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。 このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。 実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-03T16:12:12Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
  拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。 本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T09:30:36Z)
• Class-Prototype Conditional Diffusion Model with Gradient Projection for Continual Learning [20.175586324567025]
  破滅的な忘れ方を減らすことは、継続的な学習における重要なハードルである。 大きな問題は、生成したデータの品質がオリジナルのものと比べて低下することである。 本稿では,ジェネレータにおける画像品質を向上させる連続学習のためのGRに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:39:42Z)
• CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster Image Generation [49.3016007471979]
  大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。 しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。 本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:18Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。