論文の概要: Stable Target Field for Reduced Variance Score Estimation in Diffusion Models

• arxiv url: http://arxiv.org/abs/2302.00670v1
• Date: Wed, 1 Feb 2023 18:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 12:40:52.072604
• Title: Stable Target Field for Reduced Variance Score Estimation in Diffusion Models
• Title（参考訳）: 拡散モデルにおける変動スコア推定のための安定目標場
• Authors: Yilun Xu, Shangyuan Tong, Tommi Jaakkola
• Abstract要約: 拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。 より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
• 参考スコア（独自算出の注目度）: 5.9115407007859755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models generate samples by reversing a fixed forward diffusion process. Despite already providing impressive empirical results, these diffusion models algorithms can be further improved by reducing the variance of the training targets in their denoising score-matching objective. We argue that the source of such variance lies in the handling of intermediate noise-variance scales, where multiple modes in the data affect the direction of reverse paths. We propose to remedy the problem by incorporating a reference batch which we use to calculate weighted conditional scores as more stable training targets. We show that the procedure indeed helps in the challenging intermediate regime by reducing (the trace of) the covariance of training targets. The new stable targets can be seen as trading bias for reduced variance, where the bias vanishes with increasing reference batch size. Empirically, we show that the new objective improves the image quality, stability, and training speed of various popular diffusion models across datasets with both general ODE and SDE solvers. When used in combination with EDM, our method yields a current SOTA FID of 1.90 with 35 network evaluations on the unconditional CIFAR-10 generation task. The code is available at https://github.com/Newbeeer/stf
• Abstract（参考訳）: 拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 すでに印象的な実験結果を提供しているにもかかわらず、これらの拡散モデルアルゴリズムは、学習目標の分散を減らし、さらに改善することができる。 このような分散の源泉は、データ内の複数のモードが逆経路の方向に影響を与える中間ノイズ分散スケールのハンドリングにあると主張する。 重み付き条件付スコアをより安定したトレーニング目標として計算するために使用する参照バッチを組み込むことにより,この問題を改善することを提案する。 トレーニング対象の共分散を低減(トレース)することで、この手順が、挑戦的な中間体制において本当に役立つことを示す。 新たな安定ターゲットは、参照バッチサイズの増加とともにバイアスが消滅する分散を減らすためのトレーディングバイアスと見なすことができる。 実験により,新しい目的により,一般のODEおよびSDEソルバを用いたデータセット間の拡散モデルの画質,安定性,トレーニング速度が向上することを示す。 EDMと組み合わせて用いると、無条件CIFAR-10生成タスクにおける現在のSOTA FID 1.90と35のネットワーク評価が得られる。 コードはhttps://github.com/newbeeer/stfで入手できる。

関連論文リスト

• Free Hunch: Denoiser Covariance Estimation for Diffusion Models Without Extra Costs [25.784316302130875]
  共分散情報は、学習データ及び生成軌道の曲率から自由に利用できる。 ノイズレベル間で共分散推定を伝達する新しい手法である Em (i) を用いて,これらの情報ソースを統合する。 この手法を線形逆問題に対して検証し、最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T00:23:09Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs [21.08236758778604]
  拡散ODEの最大誤差推定のためのいくつかの改良手法を提案する。 トレーニングのために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を探索する。 評価のために,拡散 ODE に存在する訓練・評価のギャップを埋めるために,新しい訓練自由トラクト正規化法を提案する。
  論文  参考訳（メタデータ） (2023-05-06T05:21:24Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• DC4L: Distribution Shift Recovery via Data-Driven Control for Deep Learning Models [4.374569172244273]
  学習したモデルに対する制御を用いて、オンライン配信のシフトから回復することを提案する。 提案手法では, 学習セットにシフトしたデータを近づけるために, セマンティック保存変換のシーケンスを適用した。 本稿では,ImageNet-Cベンチマークからのシフトの合成に一般化し,平均精度を最大9.81%向上することを示す。
  論文  参考訳（メタデータ） (2023-02-20T22:06:26Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。