論文の概要: Heavy-Tailed Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.14171v1
• Date: Fri, 18 Oct 2024 04:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:49.783827
• Title: Heavy-Tailed Diffusion Models
• Title（参考訳）: 重心拡散モデル
• Authors: Kushagra Pandey, Jaideep Pathak, Yilun Xu, Stephan Mandt, Michael Pritchard, Arash Vahdat, Morteza Mardani,
• Abstract要約: 従来の拡散・流れマッチングモデルでは, 重み付き挙動を捉えることができないことを示す。 ヘビーテール推定のための拡散フレームワークを再利用することで、この問題に対処する。 既存の拡散・流動モデルの拡張である t-EDM と t-Flow を導入する。
• 参考スコア（独自算出の注目度）: 38.713884992630675
• License:
• Abstract: Diffusion models achieve state-of-the-art generation quality across many applications, but their ability to capture rare or extreme events in heavy-tailed distributions remains unclear. In this work, we show that traditional diffusion and flow-matching models with standard Gaussian priors fail to capture heavy-tailed behavior. We address this by repurposing the diffusion framework for heavy-tail estimation using multivariate Student-t distributions. We develop a tailored perturbation kernel and derive the denoising posterior based on the conditional Student-t distribution for the backward process. Inspired by $\gamma$-divergence for heavy-tailed distributions, we derive a training objective for heavy-tailed denoisers. The resulting framework introduces controllable tail generation using only a single scalar hyperparameter, making it easily tunable for diverse real-world distributions. As specific instantiations of our framework, we introduce t-EDM and t-Flow, extensions of existing diffusion and flow models that employ a Student-t prior. Remarkably, our approach is readily compatible with standard Gaussian diffusion models and requires only minimal code changes. Empirically, we show that our t-EDM and t-Flow outperform standard diffusion models in heavy-tail estimation on high-resolution weather datasets in which generating rare and extreme events is crucial.
• Abstract（参考訳）: 拡散モデルは多くのアプリケーションにまたがって最先端の生成品質を実現するが、希少または極端な事象を重み付き分布で捉える能力は未だ不明である。 本研究では,標準ガウス先行モデルを用いた従来の拡散・流れマッチングモデルでは,重み付き挙動を捉えることができないことを示す。 多変量学生-t分布を用いたヘビーテール推定のための拡散フレームワークを再利用することでこの問題に対処する。 我々は, 後進過程の条件付き学生-t分布に基づいて, 固有な摂動カーネルを開発し, 聴覚後部を導出する。 重み付き分布に対する$\gamma$-divergenceに着想を得て、重み付きデノイザーの訓練目標を導出した。 結果として得られたフレームワークは、単一のスカラーハイパーパラメータのみを使用して制御可能なテール生成を導入し、様々な現実世界の分布を容易に調整できる。 フレームワークの具体的なインスタンス化として,既存の拡散モデルの拡張であるt-EDMとt-Flowを導入する。 注目すべきは、我々のアプローチは標準ガウス拡散モデルと容易に互換性があり、最小限のコード変更しか必要としないことだ。 実験により,我々の t-EDM と t-Flow は,希少かつ極端な事象を発生させる高分解能気象データセットのヘビーテール推定において,標準拡散モデルよりも優れていることを示す。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models [76.46246743508651]
  我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。 本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
  論文  参考訳（メタデータ） (2023-09-25T12:03:32Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。