論文の概要: The Information Dynamics of Generative Diffusion

• arxiv url: http://arxiv.org/abs/2508.19897v3
• Date: Thu, 11 Sep 2025 14:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 13:52:32.825077
• Title: The Information Dynamics of Generative Diffusion
• Title（参考訳）: 生成拡散の情報ダイナミクス
• Authors: Luca Ambrogioni,
• Abstract要約: 生成拡散モデルは、機械学習における強力なモデルのクラスとして登場した。 本稿では, それらの動的・情報論的・熱力学的特性を結合させることにより, 生成拡散の総合的な視点を提供する。
• 参考スコア（独自算出の注目度）: 12.52425103385255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative diffusion models have emerged as a powerful class of models in machine learning, yet a unified theoretical understanding of their operation is still developing. This paper provides an integrated perspective on generative diffusion by connecting their dynamic, information-theoretic, and thermodynamic properties under a unified mathematical framework. We demonstrate that the rate of conditional entropy production during generation (i.e. the generative bandwidth) is directly governed by the expected divergence of the score function's vector field. This divergence, in turn, is linked to the branching of trajectories and generative bifurcations, which we characterize as symmetry-breaking phase transitions in the energy landscape. This synthesis offers a powerful insight: the process of generation is fundamentally driven by the controlled, noise-induced breaking of (approximate) symmetries, where peaks in information transfer correspond to critical transitions between possible outcomes. The score function acts as a dynamic non-linear filter that regulates the bandwidth of the noise by suppressing fluctuations that are incompatible with the data.
• Abstract（参考訳）: 生成拡散モデルは機械学習において強力なモデルのクラスとして登場したが、その操作に関する統一的な理論的理解はまだ発展途上である。 本稿では,それらの動的,情報論的,熱力学的特性を統一的な数学的枠組みの下で結合することにより,生成拡散の総合的な視点を提供する。 生成時の条件エントロピー生成率(すなわち生成帯域幅)は、期待されるスコア関数のベクトル場のばらつきによって直接制御されることを示す。 この発散は、エネルギーランドスケープにおける対称性を破る相転移として特徴づけられる軌道と生成的分岐の分岐と結びついている。 この合成は強力な洞察を与える: 生成過程は、制御されノイズによって引き起こされる(近似的な)対称性の破れによって、基本的に駆動される。 スコア関数は動的非線形フィルタとして機能し、データと互換性のない変動を抑えることでノイズの帯域幅を規制する。

関連論文リスト

• Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling [4.395339671282145]
  エネルギーベースモデル(EBM)は、フローやスコアの一致によるノイズとデータの分布をマッピングする。 EBMの柔軟性でフローベースのアプローチを実現するフレームワークであるEnergy Matchingを提案する。 提案手法は,CIFAR-10 と ImageNet 生成における既存の EBM を大幅に上回っている。
  論文  参考訳（メタデータ） (2025-04-14T18:10:58Z)
• Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation [0.0]
  中間ノイズ状態間の依存関係は、逆ノイズ化プロセス中にエラーの蓄積と伝播を引き起こす。 本稿では, 離散拡散を単純化し, 問題を回避し, 簡易反復分解という新しい枠組みを提案する。 実験により,提案手法はグラフ生成タスクにおいて既存の離散拡散ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-27T15:08:58Z)
• Hessian-Informed Flow Matching [4.542719108171107]
  Hessian-Informed Flow Matchingは、エネルギー関数のHessianを条件流に統合する新しいアプローチである。 この積分により、HI-FMは局所曲率と異方性共分散構造を考慮できる。 MNIST と Lennard-Jones 粒子のデータセットに関する実証的な評価は、HI-FM が試験サンプルの可能性を改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T09:34:52Z)
• Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
  メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。 本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。 これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Diffusion Transformer Captures Spatial-Temporal Dependencies: A Theory for Gaussian Process Data [39.41800375686212]
  ビデオ生成のためのSoraのバックボーンであるDiffusion Transformerは、拡散モデルのキャパシティをうまく拡張する。 空間的・時間的依存関係を捉えるための拡散変圧器のブリッジ化に向けた第一歩を踏み出す。 空間的時間的依存が学習効率にどのように影響するかを強調した。
  論文  参考訳（メタデータ） (2024-07-23T02:42:43Z)
• Dynamical Regimes of Diffusion Models [14.797301819675454]
  空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
  論文  参考訳（メタデータ） (2024-02-28T17:19:26Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
  本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。 ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
  論文  参考訳（メタデータ） (2022-02-13T08:44:10Z)
• Inference and De-Noising of Non-Gaussian Particle Distribution Functions: A Generative Modeling Approach [0.0]
  数値シミュレーションによって生成されたデータに対する推測は、一般に、粒子分布関数を回復するためにデータを結合する。 ここでは、正規化フローを用いて、雑音粒子分布関数に対する滑らかでトラクタブルな近似を学習する。
  論文  参考訳（メタデータ） (2021-10-05T16:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。