論文の概要: Information Theoretic Learning for Diffusion Models with Warm Start

• arxiv url: http://arxiv.org/abs/2510.20903v1
• Date: Thu, 23 Oct 2025 18:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.340539
• Title: Information Theoretic Learning for Diffusion Models with Warm Start
• Title（参考訳）: 温暖化開始を伴う拡散モデルの情報理論学習
• Authors: Yirong Shen, Lu Gan, Cong Ling,
• Abstract要約: 雑音駆動モデルに対してより厳密な確率境界が導出され、最大確率学習の精度と効率が向上する。 我々の重要な洞察は、古典的なKL分散フィッシャー情報関係を任意のノイズ摂動に拡張する。 拡散過程をガウスチャネルとして扱うことにより,提案した対象上界が負対数類似度(NLL)であることを示す。
• 参考スコア（独自算出の注目度）: 8.455757095201314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models that maximize model likelihood have gained traction in many practical settings. Among them, perturbation based approaches underpin many strong likelihood estimation models, yet they often face slow convergence and limited theoretical understanding. In this paper, we derive a tighter likelihood bound for noise driven models to improve both the accuracy and efficiency of maximum likelihood learning. Our key insight extends the classical KL divergence Fisher information relationship to arbitrary noise perturbations, going beyond the Gaussian assumption and enabling structured noise distributions. This formulation allows flexible use of randomized noise distributions that naturally account for sensor artifacts, quantization effects, and data distribution smoothing, while remaining compatible with standard diffusion training. Treating the diffusion process as a Gaussian channel, we further express the mismatched entropy between data and model, showing that the proposed objective upper bounds the negative log-likelihood (NLL). In experiments, our models achieve competitive NLL on CIFAR-10 and SOTA results on ImageNet across multiple resolutions, all without data augmentation, and the framework extends naturally to discrete data.
• Abstract（参考訳）: モデル可能性を最大化する生成モデルは、多くの実用的な設定で牽引力を高めている。 その中でも摂動に基づくアプローチは多くの強い推定モデルを支えるが、しばしば緩やかな収束と限定的な理論的理解に直面している。 本稿では,雑音駆動モデルに対してより厳密な確率境界を導出し,最大確率学習の精度と効率を両立させる。 我々の重要な洞察は、古典的なKL分散フィッシャー情報関係を任意のノイズ摂動に拡張し、ガウスの仮定を超え、構造的雑音分布を可能にすることである。 この定式化は、センサアーティファクト、量子化効果、データ分散の平滑化を自然に考慮し、標準的な拡散訓練と相容れないランダム化ノイズ分布の柔軟な利用を可能にする。 拡散過程をガウスチャネルとして扱うことにより,データとモデル間の不整合エントロピーをさらに表現し,提案する対象上界が負対数類似度(NLL)であることを示す。 実験では,CIFAR-10上での競合NLLと画像ネット上でのSOTAの結果を,データ拡張のない複数の解像度で達成し,フレームワークは離散データに自然に拡張する。

関連論文リスト

• Diffusion models under low-noise regime [3.729242965449096]
  拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
  論文  参考訳（メタデータ） (2025-06-09T15:07:16Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation [0.0]
  中間ノイズ状態間の依存関係は、逆ノイズ化プロセス中にエラーの蓄積と伝播を引き起こす。 本稿では, 離散拡散を単純化し, 問題を回避し, 簡易反復分解という新しい枠組みを提案する。 実験により,提案手法はグラフ生成タスクにおいて既存の離散拡散ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-27T15:08:58Z)
• Generalized Diffusion Model with Adjusted Offset Noise [1.7767466724342067]
  本稿では,厳密な確率的枠組みの中で自然に付加的な雑音を取り入れた一般化拡散モデルを提案する。 我々は、ある調整でノイズを相殺する理論的等価性を確立し、証拠の低い境界に基づいて損失関数を導出する。 合成データセットの実験により、我々のモデルは輝度に関する課題に効果的に対処し、高次元シナリオにおいて従来の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-04T08:57:03Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。