論文の概要: Improved Diffusion-based Generative Model with Better Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2502.17099v1
• Date: Mon, 24 Feb 2025 12:29:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:00.798225
• Title: Improved Diffusion-based Generative Model with Better Adversarial Robustness
• Title（参考訳）: 対向ロバスト性を考慮した拡散モデルの改良
• Authors: Zekun Wang, Mingyang Yi, Shuchen Xue, Zhenguo Li, Ming Liu, Bing Qin, Zhi-Ming Ma,
• Abstract要約: 拡散確率モデル(DPM)は、生成タスクにおいて大きな成功を収めた。 デノナイジングプロセスでは、入力データ分布はトレーニングと推論の段階によって異なる。
• 参考スコア（独自算出の注目度）: 65.38540020916432
• License:
• Abstract: Diffusion Probabilistic Models (DPMs) have achieved significant success in generative tasks. However, their training and sampling processes suffer from the issue of distribution mismatch. During the denoising process, the input data distributions differ between the training and inference stages, potentially leading to inaccurate data generation. To obviate this, we analyze the training objective of DPMs and theoretically demonstrate that this mismatch can be alleviated through Distributionally Robust Optimization (DRO), which is equivalent to performing robustness-driven Adversarial Training (AT) on DPMs. Furthermore, for the recently proposed Consistency Model (CM), which distills the inference process of the DPM, we prove that its training objective also encounters the mismatch issue. Fortunately, this issue can be mitigated by AT as well. Based on these insights, we propose to conduct efficient AT on both DPM and CM. Finally, extensive empirical studies validate the effectiveness of AT in diffusion-based models. The code is available at https://github.com/kugwzk/AT_Diff.
• Abstract（参考訳）: 拡散確率モデル(DPM)は、生成タスクにおいて大きな成功を収めた。 しかし、それらのトレーニングとサンプリングプロセスは、分布ミスマッチの問題に悩まされている。 デノナイジングプロセスでは、入力データ分布はトレーニングと推論の段階によって異なり、不正確なデータ生成につながる可能性がある。 そこで我々は,DPMのトレーニング目標を分析し,このミスマッチがDPM上での堅牢性駆動型対人訓練(AT)と等価な分散ロバスト最適化(DRO)によって緩和可能であることを理論的に証明した。 さらに、近年提案されているDPMの推論過程を蒸留する一貫性モデル(CM)について、そのトレーニング目標がミスマッチ問題にも遭遇していることを証明する。 幸いにも、この問題はATでも緩和できる。 これらの知見に基づき, DPM と CM の両方で効率的なAT を実現することを提案する。 最後に、拡散モデルにおけるATの有効性を実験的に検証した。 コードはhttps://github.com/kugwzk/AT_Diff.comで公開されている。

関連論文リスト

• Extracting Training Data from Unconditional Diffusion Models [32.18993348942877]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 本研究では,非条件のDPMからトレーニングデータを抽出するために,生成したデータに対する時間依存型トレーニングデータ抽出(SIDE)を代理条件として活用する新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Unsupervised Domain Adaptation Via Data Pruning [0.0]
  非教師なし領域適応(UDA)の観点から問題を考える。 本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。 UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T15:48:59Z)
• Contractive Diffusion Probabilistic Models [5.217870815854702]
  拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 我々は、DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し、新しいCDPM(Contractive DPM)のクラスを導出する。 以上の結果から,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:51:51Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models [37.18522296366212]
  拡散確率モデル(DPMs)は、強力な深層生成モデル(DGMs)のクラスである。 彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率が良くない。 我々は,DPMの表現力を向上させるために,対角および全共分散を考慮する。
  論文  参考訳（メタデータ） (2022-06-15T05:42:48Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。