論文の概要: Robust Diffusion Models via Divergence-Induced Weighted Denoising

• arxiv url: http://arxiv.org/abs/2606.22521v1
• Date: Sun, 21 Jun 2026 14:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:44:51.454975
• Title: Robust Diffusion Models via Divergence-Induced Weighted Denoising
• Title（参考訳）: 発散誘起重み付きDenoisingによるロバスト拡散モデル
• Authors: Lei Li, Yuexiao Dong,
• Abstract要約: 拡散モデルにおける標準 MSE の損失を、f-発散によって誘導される非線形変換に置き換えることで、単純な頑健なトレーニングサロゲートが得られることを示す。 実験的に、30%の汚染下でのCIFAR-10では、NEDはFIDを93.0(KL)から77.5に減らし、HuberやクリップされたMSEのような標準的なロバストな損失を上回ります。
• 参考スコア（独自算出の注目度）: 6.455114815657125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that replacing the standard MSE denoising loss in diffusion models with a nonlinear transformation induced by an f-divergence yields a simple robust training surrogate that empirically improves performance under data contamination, with small additional computational overhead. The theoretical foundation rests on a local divergence construction: under the Gaussian reverse-kernel structure of DDPM, each per-step likelihood ratio follows a lognormal distribution parameterized by a scalar mismatch, so the conditional f-divergence at each step reduces to a one-dimensional function of the denoising error. Summing these local divergences yields a training objective that unifies diffusion training as divergence induced weighted denoising, where the derivative of the induced divergence acts as a residual-space influence weight that controls the contribution of each sample. Bounded-influence divergences (Hellinger, negative exponential) suppress large error samples, with Hellinger yielding an explicit exponential weight, connecting the framework to robust M-estimation. Empirically, on CIFAR-10 under 30% contamination, NED reduces FID from 93.0 (KL) to 77.5, while also outperforming standard robust losses such as Huber and clipped MSE.
• Abstract（参考訳）: 拡散モデルにおける標準的なMSEの損失をf分割によって誘導される非線形変換に置き換えることで、データ汚染下での性能を実証的に向上する単純な頑健なトレーニングサロゲートが、計算オーバーヘッドを小さくして得られることを示す。 DDPMのガウス逆カーネル構造の下では、各ステップの確率比はスカラーミスマッチによってパラメータ化された対数正規分布に従うので、各ステップでの条件f偏差はデノナイジング誤差の1次元関数に還元される。 これらの局所発散を和らげると、拡散訓練を発散誘起重み付き偏極として統一する訓練目標となり、誘導発散の微分は各サンプルの寄与を制御する残留空間影響重みとして作用する。 境界影響の分岐(Hellinger、負指数指数)は大きな誤差サンプルを抑圧し、Hellingerは明示的な指数重みを生じ、フレームワークを堅牢なM推定に接続する。 実験的に、30%の汚染下でのCIFAR-10では、NEDはFIDを93.0(KL)から77.5に減らし、HuberやクリップされたMSEのような標準的なロバストな損失を上回ります。

関連論文リスト

• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Breaking the Bottlenecks: Scalable Diffusion Models for 3D Molecular Generation [0.0]
  拡散モデルは分子設計のための強力な生成モデルとして登場した。 彼らの使用は、長いサンプリング軌道、逆過程のばらつき、そして力学の認知における構造的認識の制限によって制限されている。 直接分極拡散モデル(英語版)は、逆MCMC更新を決定論的分極ステップに置き換えることでこれらの非効率性を緩和する。
  論文  参考訳（メタデータ） (2026-01-13T20:09:44Z)
• Efficient and Unbiased Sampling from Boltzmann Distributions via Variance-Tuned Diffusion Models [24.911598225979606]
  VT-DIS(Variance-Tuned Diffusion Smpling)は、事前学習したスコアベース拡散モデルのステップごとのノイズ共分散に適応する軽量な手法である。 VT-DISはDW-4, LJ-13, アラニン-ジペプチドベンチマークでそれぞれ80%, 35%, 3.5%の有効試料サイズを達成している。
  論文  参考訳（メタデータ） (2025-05-27T10:37:48Z)
• Diffusion-PINN Sampler [6.656265182236135]
  物理インフォームドニューラルネットワーク(PINN)を用いて,基礎となるSDEの対数密度の制御偏微分方程式を解くことにより,ドリフト項を推定する新しい拡散型サンプリングアルゴリズムを提案する。 DPSの収束保証を確立するために、PINN残差損失によって対数密度近似の誤差を制御できることを証明した。
  論文  参考訳（メタデータ） (2024-10-20T09:02:16Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。