論文の概要: Diffusion Model Patching via Mixture-of-Prompts

• arxiv url: http://arxiv.org/abs/2405.17825v2
• Date: Thu, 30 May 2024 08:28:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:45:41.441350
• Title: Diffusion Model Patching via Mixture-of-Prompts
• Title（参考訳）: 混合プロンプトによる拡散モデルパッチング
• Authors: Seokil Ham, Sangmin Woo, Jin-Young Kim, Hyojun Go, Byeongjun Park, Changick Kim,
• Abstract要約: 拡散モデルパッチング(DMP)は,事前学習した拡散モデルの性能を高めるための単純な手法である。 DMPは、オリジナルのモデルを凍結したまま、モデルの入力空間に小さな学習可能なプロンプトを挿入する。
• 参考スコア（独自算出の注目度）: 17.04227271007777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Diffusion Model Patching (DMP), a simple method to boost the performance of pre-trained diffusion models that have already reached convergence, with a negligible increase in parameters. DMP inserts a small, learnable set of prompts into the model's input space while keeping the original model frozen. The effectiveness of DMP is not merely due to the addition of parameters but stems from its dynamic gating mechanism, which selects and combines a subset of learnable prompts at every step of the generative process (e.g., reverse denoising steps). This strategy, which we term "mixture-of-prompts", enables the model to draw on the distinct expertise of each prompt, essentially "patching" the model's functionality at every step with minimal yet specialized parameters. Uniquely, DMP enhances the model by further training on the same dataset on which it was originally trained, even in a scenario where significant improvements are typically not expected due to model convergence. Experiments show that DMP significantly enhances the converged FID of DiT-L/2 on FFHQ 256x256 by 10.38%, achieved with only a 1.43% parameter increase and 50K additional training iterations.
• Abstract（参考訳）: 本稿では,すでに収束した拡散モデルの性能を向上させるための簡易な手法である拡散モデルパッチング(DMP)を提案する。 DMPは、オリジナルのモデルを凍結したまま、モデルの入力空間に小さな学習可能なプロンプトを挿入する。 DMPの有効性は単にパラメータの追加によるものではなく、その動的ゲーティング機構に由来するもので、生成過程のすべてのステップ(例えば、逆認知ステップ)において学習可能なプロンプトのサブセットを選択・結合する。 この戦略は、我々が "mixture-of-prompts" と呼んでいるもので、モデルが各プロンプトの異なる専門知識に基づいて、本質的には最小限のパラメータで、各ステップでモデルの機能を"パッチ"することを可能にする。 DMPは、モデル収束によって通常、大幅な改善が期待できないシナリオであっても、当初トレーニングされていた同じデータセットでさらなるトレーニングを行うことで、モデルを強化します。 実験の結果、DMPはFFHQ 256x256上のDiT-L/2の収束FIDを10.38%向上させ、1.43%のパラメータ増加と50Kの追加訓練を繰り返した。

関連論文リスト

• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• KIND: Knowledge Integration and Diversion in Diffusion Models [40.442303050947395]
  拡散モデルにおいてtextbfKnowledge textbfINtegration と textbfDiversion を実行する textbfKIND を導入する。 KINDは、現在のタスクにおけるモデルパフォーマンスの最大化から、伝達可能な共通知識の凝縮までのトレーニング目標を調整することで、従来の事前学習手法を再定義する。 その結果,KINDは,他のPEFT法や学習遺伝子法と比較して最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-14T07:22:28Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• DPPA: Pruning Method for Large Language Model to Model Merging [39.13317231533299]
  本稿では、複雑な微調整モデルを統合するという課題に対処するため、DPPA(Dynamic Pruning Partition Amplification)と呼ばれる2段階の手法を提案する。 提案手法は,ドメイン固有のパラメータの20%しか保持せず,他の手法に匹敵する性能を提供する。 提案手法では, プレニング後の性能が優れており, モデルマージにおける性能が20%近く向上した。
  論文  参考訳（メタデータ） (2024-03-05T09:12:49Z)
• T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching [143.72720563387082]
  Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。 我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。 また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
  論文  参考訳（メタデータ） (2024-02-21T23:08:54Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• Bring Metric Functions into Diffusion Models [145.71911023514252]
  DDPM(Denoising Diffusion Probabilistic Model)を改善するカスケード拡散モデル(Cas-DM)を導入する。 提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最先端画像品質(FID, sFID, IS)を実現する。 実験結果から,提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最新画像品質(FID, sFID, IS)につながることが示された。
  論文  参考訳（メタデータ） (2024-01-04T18:55:01Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。