論文の概要: Why Heuristic Weighting Works: A Theoretical Analysis of Denoising Score Matching

• arxiv url: http://arxiv.org/abs/2508.01597v1
• Date: Sun, 03 Aug 2025 05:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.960961
• Title: Why Heuristic Weighting Works: A Theoretical Analysis of Denoising Score Matching
• Title（参考訳）: なぜヒューリスティックウェイトが働くのか : スコアマッチングの理論的分析
• Authors: Juyan Zhang, Rhys Newbury, Xinyang Zhang, Tin Tran, Dana Kulic, Michael Burke,
• Abstract要約: 重み付け関数は 正式な正当性を持たずに スコアマッチングの損失を 本研究では,ヘテロサスティック性が聴取スコアマッチング目的の固有の性質であることを実証する。 この知見は、一般化された任意の順序の採点損失に対する最適重み付け関数の原理的導出につながる。
• 参考スコア（独自算出の注目度）: 7.800608181419997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score matching enables the estimation of the gradient of a data distribution, a key component in denoising diffusion models used to recover clean data from corrupted inputs. In prior work, a heuristic weighting function has been used for the denoising score matching loss without formal justification. In this work, we demonstrate that heteroskedasticity is an inherent property of the denoising score matching objective. This insight leads to a principled derivation of optimal weighting functions for generalized, arbitrary-order denoising score matching losses, without requiring assumptions about the noise distribution. Among these, the first-order formulation is especially relevant to diffusion models. We show that the widely used heuristical weighting function arises as a first-order Taylor approximation to the trace of the expected optimal weighting. We further provide theoretical and empirical comparisons, revealing that the heuristical weighting, despite its simplicity, can achieve lower variance than the optimal weighting with respect to parameter gradients, which can facilitate more stable and efficient training.
• Abstract（参考訳）: スコアマッチングにより、破損した入力からクリーンなデータを復元するために使用される拡散モデルをデノナイズする重要な要素であるデータ分布の勾配を推定することができる。 先行研究では、公式な正当化なしにスコアマッチング損失を復調するためにヒューリスティック重み付け関数が用いられてきた。 本研究は,ヘテロスケダストリティが認知スコアマッチング目的の固有の性質であることを実証する。 この知見は、雑音分布に関する仮定を必要とせず、一般化された任意の順序のデノゲーションスコア損失に対する最適重み付け関数の原理的導出につながる。 これらのうち、一階の定式化は拡散モデルに特に関係している。 本研究は, 広く用いられているヒューリスティック重み付け関数が, 期待する最適重み付けのトレースに対する1次テイラー近似として現れることを示す。 さらに, 理論的および経験的比較を行い, ヒューリスティックな重み付けは, その単純さにもかかわらず, パラメータ勾配に対する最適重み付けよりも低分散化が可能であり, より安定かつ効率的に訓練できることを示した。

関連論文リスト

• Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
  低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。 従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。 本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
  論文  参考訳（メタデータ） (2025-06-27T15:05:37Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Noisy Tensor Completion via Low-rank Tensor Ring [41.86521269183527]
  テンソル完了は不完全なデータ解析の基本的なツールであり、その目標は部分的な観測から欠落するエントリを予測することである。 既存の手法は、観測されたエントリがノイズフリーであるという明示的あるいは暗黙的な仮定をしばしば示し、欠落したエントリの正確な回復を理論的に保証する。 本稿では,高次・高次観測の劣化処理における既存の作業の非効率性を補完する新しいノイズテンソル補完モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-14T14:09:43Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior [103.00403682863427]
  条件拡散モデルの効率を改善するために, PreGrad を提案する。 PriorGradはデータとパラメータの効率を向上し、品質を向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:04:03Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。