論文の概要: Transfer Learning for Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.16876v3
• Date: Wed, 30 Oct 2024 18:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:48.358359
• Title: Transfer Learning for Diffusion Models
• Title（参考訳）: 拡散モデルのための伝達学習
• Authors: Yidong Ouyang, Liyan Xie, Hongyuan Zha, Guang Cheng,
• Abstract要約: 拡散モデルは高品質な合成サンプルを一貫して生成する。 コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。 本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
• 参考スコア（独自算出の注目度）: 43.10840361752551
• License:
• Abstract: Diffusion models, a specific type of generative model, have achieved unprecedented performance in recent years and consistently produce high-quality synthetic samples. A critical prerequisite for their notable success lies in the presence of a substantial number of training samples, which can be impractical in real-world applications due to high collection costs or associated risks. Consequently, various finetuning and regularization approaches have been proposed to transfer knowledge from existing pre-trained models to specific target domains with limited data. This paper introduces the Transfer Guided Diffusion Process (TGDP), a novel approach distinct from conventional finetuning and regularization methods. We prove that the optimal diffusion model for the target domain integrates pre-trained diffusion models on the source domain with additional guidance from a domain classifier. We further extend TGDP to a conditional version for modeling the joint distribution of data and its corresponding labels, together with two additional regularization terms to enhance the model performance. We validate the effectiveness of TGDP on both simulated and real-world datasets.
• Abstract（参考訳）: 特定の生成モデルである拡散モデルは、近年では前例のない性能を達成し、高品質な合成サンプルを一貫して製造している。 彼らの顕著な成功の重要な前提は、かなりの数のトレーニングサンプルが存在することである。 その結果、既存の訓練済みモデルから限られたデータを持つ特定の対象領域に知識を伝達する様々な微調整および正規化手法が提案されている。 本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。 対象領域に対する最適拡散モデルは、ソース領域上の事前学習拡散モデルと、ドメイン分類器からの追加ガイダンスを統合することを証明した。 さらに、TGDPをデータと対応するラベルの共分散をモデル化するための条件付きバージョンに拡張し、モデル性能を高めるために2つの追加正規化用語を付加する。 シミュレーションと実世界の両方のデータセットにおけるTGDPの有効性を検証する。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
  本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。 評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
  論文  参考訳（メタデータ） (2023-03-08T14:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。