論文の概要: Conservation Laws for Diffusion Models

• arxiv url: http://arxiv.org/abs/2607.10067v1
• Date: Sat, 11 Jul 2026 01:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.285308
• Title: Conservation Laws for Diffusion Models
• Title（参考訳）: 拡散モデルにおける保存法則
• Abstract要約: 我々は,メモリレスノイズプロセスのクラスに対する保存則を策定する。 データモデルクロスエントロピー(CE)は,雑音経路に沿った局所情報理論微分の積分として正確に特徴付けられることを示す。 合成マルコフ源と標準ベンチマークを用いてこれらの予測を検証した。
• 参考スコア（独自算出の注目度）: 10.98617584718584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While autoregressive models optimize the exact data likelihood via the chain rule, diffusion models are typically trained with denoising objectives. We develop conservation laws based on generalized extrinsic information transfer (GEXIT) functions for a broad class of memoryless noise processes, showing that the data--model cross-entropy (CE) can be characterized exactly as an integral of local information-theoretic derivatives along the noise path. This yields a unified characterization of the likelihood for discrete and continuous diffusion, with the Gaussian case reducing to the well-known mutual information--minimum mean-square error (I-MMSE) relationship. An immediate implication is a locality property: one can compute the information-theoretic derivatives using only the marginal posteriors along the noise path. As a result, training reduces to learning the marginal posteriors by minimizing the negative log-likelihood. While the conservation law implies that the entropy does not depend on the noise path, finite-capacity denoisers approximate the posteriors with varying accuracy across noise types, leading to differences in performance. We validate these predictions on synthetic Markov sources and standard benchmarks, including text8 and CIFAR-10.
• Abstract（参考訳）: 自己回帰モデルはチェーンルールを介して正確なデータ確率を最適化するが、拡散モデルは典型的には目的を認知的に訓練する。 本研究では, 汎用外部情報伝達(GEXIT)関数に基づく保存法を開発し, データ-モデルクロスエントロピー(CE)を, 雑音経路に沿った局所情報-理論微分の積分として正確に特徴付けることを示す。 これにより、離散的かつ連続的な拡散の可能性の統一的な特徴づけが得られ、ガウスケースはよく知られた相互情報-最小平均二乗誤差(I-MMSE)の関係に還元される。 直近の含意は局所性の性質であり、ノイズパスに沿った境界後部のみを用いて情報理論の微分を計算することができる。 結果として、トレーニングは、負の対数類似度を最小化することにより、限界後部学習に還元される。 保存法則は、エントロピーがノイズパスに依存しないことを意味するが、有限容量デノイザはノイズの種類によって異なる精度で後部を近似し、性能の違いをもたらす。 我々はこれらの予測を,text8 や CIFAR-10 など,合成マルコフ源および標準ベンチマーク上で検証する。

関連論文リスト

• Posterior Information Dynamics of Diffusion Models for Linear Inverse Problems [11.548853370822343]
  本研究は,各ノイズレベルにおいて,円滑な確率力,正確な後方値と先行値の差について検討する。 測定値の平均化は情報最小平均二乗誤差(I-MMSE)と情報ゲインをデノナイジングエラーの低減に結び付ける。
  論文  参考訳（メタデータ） (2026-08-22T00:53:42Z)
• UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
  本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。 我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。 我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
  論文  参考訳（メタデータ） (2026-07-18T14:03:39Z)
• Nonparametric Deconvolution and Denoising using Simulation Based Inference [3.6640504352010885]
  我々は,観測されたデータ分布と雑音を伴うモデル分布とをマッチングすることにより,潜在生成モデルを学習する。 本手法は, 生成潜在分布モデルの下でのデコンボリューションに対する実用的, 理論的に基礎的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-06-20T07:03:37Z)
• Information-Theoretic Discrete Diffusion [8.018632880023336]
  本稿では,離散拡散モデルに対する情報理論フレームワークを提案する。 結果は、最適スコアベースの損失の観点から、データのログライクな状態の時間分解を提供する。 合成および実世界のデータを用いた実験により, 推定器の精度, 分散安定性, 有用性が確認された。
  論文  参考訳（メタデータ） (2025-10-28T05:59:05Z)
• Information Theoretic Learning for Diffusion Models with Warm Start [8.455757095201314]
  雑音駆動モデルに対してより厳密な確率境界が導出され、最大確率学習の精度と効率が向上する。 我々の重要な洞察は、古典的なKL分散フィッシャー情報関係を任意のノイズ摂動に拡張する。 拡散過程をガウスチャネルとして扱うことにより,提案した対象上界が負対数類似度(NLL)であることを示す。
  論文  参考訳（メタデータ） (2025-10-23T18:00:59Z)
• Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise [43.07594740645669]
  Diffusion Probabilistic Models (DPM) は強力な生成性能を達成しているが、その帰納的バイアスは大半が暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。
  論文  参考訳（メタデータ） (2025-10-07T16:08:39Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。