論文の概要: Your Diffusion Model is Secretly a Noise Classifier and Benefits from Contrastive Training

• arxiv url: http://arxiv.org/abs/2407.08946v2
• Date: Sat, 2 Nov 2024 00:36:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:17:54.798834
• Title: Your Diffusion Model is Secretly a Noise Classifier and Benefits from Contrastive Training
• Title（参考訳）: 拡散モデルは秘密裏にノイズ分類器であり、コントラストトレーニングの利点
• Authors: Yunshu Wu, Yingtao Luo, Xianghao Kong, Evangelos E. Papalexakis, Greg Ver Steeg,
• Abstract要約: 拡散モデルはデータをノイズ化することを学び、訓練されたデノイザを使用してデータ分布から新しいサンプルを生成する。 サンプルに追加される雑音のレベルを識別する,新たな自己教師型学習目標を提案する。 提案手法は逐次的および並列的な設定に有効であることを示す。
• 参考スコア（独自算出の注目度）: 20.492630610281658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models learn to denoise data and the trained denoiser is then used to generate new samples from the data distribution. In this paper, we revisit the diffusion sampling process and identify a fundamental cause of sample quality degradation: the denoiser is poorly estimated in regions that are far Outside Of the training Distribution (OOD), and the sampling process inevitably evaluates in these OOD regions. This can become problematic for all sampling methods, especially when we move to parallel sampling which requires us to initialize and update the entire sample trajectory of dynamics in parallel, leading to many OOD evaluations. To address this problem, we introduce a new self-supervised training objective that differentiates the levels of noise added to a sample, leading to improved OOD denoising performance. The approach is based on our observation that diffusion models implicitly define a log-likelihood ratio that distinguishes distributions with different amounts of noise, and this expression depends on denoiser performance outside the standard training distribution. We show by diverse experiments that the proposed contrastive diffusion training is effective for both sequential and parallel settings, and it improves the performance and speed of parallel samplers significantly.
• Abstract（参考訳）: 拡散モデルはデータをノイズ化することを学び、訓練されたデノイザを使用してデータ分布から新しいサンプルを生成する。 本稿では, 拡散サンプリングプロセスを再検討し, 試料品質劣化の根本原因を同定する。このデノイザは, トレーニング分布外(OOD)から遠く離れた地域では推定が不十分であり, これらのOOD領域ではサンプリングプロセスが必然的に評価される。 これは全てのサンプリング手法において問題となり、特に並列サンプリングに移行する際には、動的の標本軌跡全体を並列に初期化および更新する必要があるため、多くのOOD評価が導かれる。 この問題に対処するために,サンプルに付加される雑音のレベルを区別する新たな自己教師型学習目標を導入する。 提案手法は, 拡散モデルが音量の異なる分布を識別する対数様比を暗黙的に定義することに基づいており, この表現は, 標準学習分布の外でのデノイザー性能に依存する。 提案したコントラスト拡散訓練は逐次的および並列的な設定に有効であり, 並列サンプリング器の性能と速度を著しく向上することを示す。

関連論文リスト

• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 我々の知る限り、提案手法は拡散モデルに対する最初の推論時間、バックプロパゲーションフリーな選好アライメント法である。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• A Simple Early Exiting Framework for Accelerated Sampling in Diffusion Models [14.859580045688487]
  拡散モデルの現実的なボトルネックはサンプリング速度である。 スコア推定に必要な計算を適応的に割り当てる新しいフレームワークを提案する。 本研究では,画像品質を損なうことなく,拡散モデルのサンプリングスループットを大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-12T05:33:45Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
  拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。 事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。 このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
  論文  参考訳（メタデータ） (2022-11-01T08:18:07Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。