論文の概要: Diffusion Model Patching via Mixture-of-Prompts

• arxiv url: http://arxiv.org/abs/2405.17825v2
• Date: Thu, 30 May 2024 08:28:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:45:41.441350
• Title: Diffusion Model Patching via Mixture-of-Prompts
• Title（参考訳）: 混合プロンプトによる拡散モデルパッチング
• Authors: Seokil Ham, Sangmin Woo, Jin-Young Kim, Hyojun Go, Byeongjun Park, Changick Kim,
• Abstract要約: 拡散モデルパッチング(DMP)は,事前学習した拡散モデルの性能を高めるための単純な手法である。 DMPは、オリジナルのモデルを凍結したまま、モデルの入力空間に小さな学習可能なプロンプトを挿入する。
• 参考スコア（独自算出の注目度）: 17.04227271007777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Diffusion Model Patching (DMP), a simple method to boost the performance of pre-trained diffusion models that have already reached convergence, with a negligible increase in parameters. DMP inserts a small, learnable set of prompts into the model's input space while keeping the original model frozen. The effectiveness of DMP is not merely due to the addition of parameters but stems from its dynamic gating mechanism, which selects and combines a subset of learnable prompts at every step of the generative process (e.g., reverse denoising steps). This strategy, which we term "mixture-of-prompts", enables the model to draw on the distinct expertise of each prompt, essentially "patching" the model's functionality at every step with minimal yet specialized parameters. Uniquely, DMP enhances the model by further training on the same dataset on which it was originally trained, even in a scenario where significant improvements are typically not expected due to model convergence. Experiments show that DMP significantly enhances the converged FID of DiT-L/2 on FFHQ 256x256 by 10.38%, achieved with only a 1.43% parameter increase and 50K additional training iterations.
• Abstract（参考訳）: 本稿では,すでに収束した拡散モデルの性能を向上させるための簡易な手法である拡散モデルパッチング(DMP)を提案する。 DMPは、オリジナルのモデルを凍結したまま、モデルの入力空間に小さな学習可能なプロンプトを挿入する。 DMPの有効性は単にパラメータの追加によるものではなく、その動的ゲーティング機構に由来するもので、生成過程のすべてのステップ(例えば、逆認知ステップ)において学習可能なプロンプトのサブセットを選択・結合する。 この戦略は、我々が "mixture-of-prompts" と呼んでいるもので、モデルが各プロンプトの異なる専門知識に基づいて、本質的には最小限のパラメータで、各ステップでモデルの機能を"パッチ"することを可能にする。 DMPは、モデル収束によって通常、大幅な改善が期待できないシナリオであっても、当初トレーニングされていた同じデータセットでさらなるトレーニングを行うことで、モデルを強化します。 実験の結果、DMPはFFHQ 256x256上のDiT-L/2の収束FIDを10.38%向上させ、1.43%のパラメータ増加と50Kの追加訓練を繰り返した。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching [143.72720563387082]
  Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。 我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。 また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
  論文  参考訳（メタデータ） (2024-02-21T23:08:54Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• Bring Metric Functions into Diffusion Models [145.71911023514252]
  DDPM(Denoising Diffusion Probabilistic Model)を改善するカスケード拡散モデル(Cas-DM)を導入する。 提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最先端画像品質(FID, sFID, IS)を実現する。 実験結果から,提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最新画像品質(FID, sFID, IS)につながることが示された。
  論文  参考訳（メタデータ） (2024-01-04T18:55:01Z)
• PELA: Learning Parameter-Efficient Models with Low-Rank Approximation [16.9278983497498]
  そこで本研究では,中間学習段階を導入することにより,事前学習モデルのパラメータ効率を向上させる手法を提案する。 これにより、下流の微調整タスクにローランクモデルの直接的かつ効率的な利用が可能になる。
  論文  参考訳（メタデータ） (2023-10-16T07:17:33Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。