論文の概要: Do Heavy Tails Help Diffusion? On the Subtle Trade-off Between Initialization and Training

• arxiv url: http://arxiv.org/abs/2605.13175v1
• Date: Wed, 13 May 2026 08:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.918654
• Title: Do Heavy Tails Help Diffusion? On the Subtle Trade-off Between Initialization and Training
• Title（参考訳）: 重機は拡散を助けるか?-初期化と訓練のトレードオフについて
• Authors: Hamza Cherkaoui, Hélène Halconruy, Antonio Ocello,
• Abstract要約: 近年の研究では,HTノイズを拡散・流動モデルに取り入れることが提案されている。 我々は,HTノイズが統計的推定問題を難しくし,サンプリングエラー境界がより少ないことを示す。
• 参考スコア（独自算出の注目度）: 1.5839621757142595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have proposed incorporating heavy-tailed (HT) noise into diffusion- and flow-based generative models, with the goals of better recovering the tails of target distributions and improving generative diversity. This motivation is intuitive: if the data are heavy-tailed, HT noise may appear better matched than light-tailed (LT) Gaussian noise. However, replacing Gaussian noise by HT noise also changes the underlying estimation problem. In this paper, we revisit this paradigm through a combined theoretical and empirical study, establishing sampling-error bounds for two representative diffusion models driven by HT and LT noise. We show that HT noise makes the statistical estimation problem harder, leading to less favorable sampling-error bounds. We support these findings with experiments on synthetic and real-world datasets, empirically recovering the predicted error trade-off. Our results call into question a growing design trend in generative modeling and challenge the use of HT noise to improve rare-region exploration.
• Abstract（参考訳）: 近年の研究では,HTノイズを拡散型および流動型生成モデルに組み込むことが提案されている。 この動機は直感的であり、もしデータが重み付きであれば、HTノイズは軽み付き(LT)ガウスノイズよりもよく一致しているように見える。 しかし、ガウスノイズをHTノイズに置き換えることで、基礎となる推定問題も変化する。 本稿では,HTとLTの雑音によって駆動される2つの代表的な拡散モデルに対して,サンプリングエラー境界を確立することによって,このパラダイムを再検討する。 我々は,HTノイズが統計的推定問題を難しくし,サンプリングエラー境界がより少ないことを示す。 これらの結果は,予測されたエラートレードオフを実証的に回復する,合成および実世界のデータセットに関する実験によって支援される。 本研究は, 生成モデルにおける設計トレンドの増大を疑問視し, 希少領域探索を改善するためにHTノイズの活用に挑戦する。

関連論文リスト

• NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training [81.58321000203712]
  NoiseRaterは、拡散モデルトレーニングにおけるインスタンスレベルのノイズ評価のためのメタラーニングフレームワークである。 NoiseRaterは、重要度スコアをデータとタイムステップで条件付けられた個々のノイズ実現に割り当てる。 FFHQとImageNetの実験では、すべてのノイズサンプルが等しく寄与するわけではない。
  論文  参考訳（メタデータ） (2026-05-02T19:43:16Z)
• Transformers Learn the Optimal DDPM Denoiser for Multi-Token GMMs [13.741630476895773]
  本稿では,変圧器を用いた拡散モデルのトレーニングのための最初の収束解析を行う。 人口の拡散確率モデル (DDPM) の目的を, 人口の分散確率モデル (DDPM) とみなす。 より深い調査により、トレーニングされた平均偏極モジュールは、拡散ステップにおける注入音の最小値平均正方形誤差(MMSE)を近似することができることが明らかになった。
  論文  参考訳（メタデータ） (2026-04-11T07:46:15Z)
• Warm Diffusion: Recipe for Blur-Noise Mixture Diffusion Models [14.963168108932761]
  熱拡散は、高周波画像の細部と低周波構造との強い相関をうまく利用できないと我々は主張する。 本稿では,Blur-Noise Mixture Diffusion Model(BNMD)を提案する。
  論文  参考訳（メタデータ） (2025-11-21T02:37:09Z)
• Information Theoretic Learning for Diffusion Models with Warm Start [8.455757095201314]
  雑音駆動モデルに対してより厳密な確率境界が導出され、最大確率学習の精度と効率が向上する。 我々の重要な洞察は、古典的なKL分散フィッシャー情報関係を任意のノイズ摂動に拡張する。 拡散過程をガウスチャネルとして扱うことにより,提案した対象上界が負対数類似度(NLL)であることを示す。
  論文  参考訳（メタデータ） (2025-10-23T18:00:59Z)
• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• On the Shape of Latent Variables in a Denoising VAE-MoG: A Posterior Sampling-Based Study [51.56484100374058]
  ガウス前駆体 (VAE-MoG) を用いた変分オートエンコーダの潜時空間を探索する。 モデルが基盤構造をどれだけうまく捉えているかを評価するために、ハミルトンモンテカルロ (HMC) を用いて、クリーンな入力で条件付けられた後続サンプルを描画し、ノイズの多いデータからエンコーダの出力と比較する。 モデルは正確に信号を再構成するが、統計的比較により、潜在空間における明らかなミスマッチが明らかになる。
  論文  参考訳（メタデータ） (2025-09-29T18:33:09Z)
• ReDDiT: Rehashing Noise for Discrete Visual Generation [53.813067778912]
  離散拡散変圧器(終端型ReDDiT)のためのリハッシングノイズアプローチを提案する。 我々は、吸収状態を拡張し、離散拡散モデルの表現能力を向上させることを目的としている。 実験の結果、ReDDiTはベースラインモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-05-26T08:17:20Z)
• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• Generalized Diffusion Model with Adjusted Offset Noise [1.7767466724342067]
  本稿では,厳密な確率的枠組みの中で自然に付加的な雑音を取り入れた一般化拡散モデルを提案する。 我々は、ある調整でノイズを相殺する理論的等価性を確立し、証拠の低い境界に基づいて損失関数を導出する。 合成データセットの実験により、我々のモデルは輝度に関する課題に効果的に対処し、高次元シナリオにおいて従来の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-04T08:57:03Z)
• To smooth a cloud or to pin it down: Guarantees and Insights on Score Matching in Denoising Diffusion Models [20.315727650065007]
  微分拡散モデル(Denoising diffusion model)は、最近多くの領域で最先端の結果を得た生成モデルのクラスである。 我々は、F"ollmer flow"に似た既知の接続を利用して、F"ollmer drift"の確立されたニューラルネットワーク近似結果を拡張し、拡散モデルとサンプリング器をデノナイズする。
  論文  参考訳（メタデータ） (2023-05-16T16:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。