論文の概要: The Entropic Signature of Class Speciation in Diffusion Models
- arxiv url: http://arxiv.org/abs/2602.09651v1
- Date: Tue, 10 Feb 2026 10:56:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.503288
- Title: The Entropic Signature of Class Speciation in Diffusion Models
- Title（参考訳）: 拡散モデルにおけるクラス種別エントロピックシグナチャ
- Authors: Florian Handke, Dejan Stančević, Felix Koulischer, Thomas Demeester, Luca Ambrogioni,
- Abstract要約: 雑音状態が与えられた潜在意味変数のクラス条件エントロピーを追跡することで、遷移状態の信頼できるシグネチャが得られることを示す。
EDM2-XS と安定拡散 1.5 では,クラス条件エントロピーが意味構造形成に不可欠なノイズ機構を一貫して分離する。
- 参考スコア（独自算出の注目度）: 12.212582407125089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models do not recover semantic structure uniformly over time. Instead, samples transition from semantic ambiguity to class commitment within a narrow regime. Recent theoretical work attributes this transition to dynamical instabilities along class-separating directions, but practical methods to detect and exploit these windows in trained models are still limited. We show that tracking the class-conditional entropy of a latent semantic variable given the noisy state provides a reliable signature of these transition regimes. By restricting the entropy to semantic partitions, the entropy can furthermore resolve semantic decisions at different levels of abstraction. We analyze this behavior in high-dimensional Gaussian mixture models and show that the entropy rate concentrates on the same logarithmic time scale as the speciation symmetry-breaking instability previously identified in variance-preserving diffusion. We validate our method on EDM2-XS and Stable Diffusion 1.5, where class-conditional entropy consistently isolates the noise regimes critical for semantic structure formation. Finally, we use our framework to quantify how guidance redistributes semantic information over time. Together, these results connect information-theoretic and statistical physics perspectives on diffusion and provide a principled basis for time-localized control.
- Abstract（参考訳）: 拡散モデルは時間とともに意味構造を均一に回復しない。
代わりに、サンプルは、セマンティックなあいまいさから、狭い状態の中でクラスコミットメントへ移行する。
最近の理論的研究は、クラス分離方向に沿った動的不安定性への移行を特徴としているが、訓練されたモデルでこれらのウィンドウを検出し、活用するための実践的手法はまだ限られている。
雑音状態から遅延意味変数のクラス条件エントロピーを追跡することで、これらの遷移状態の信頼できるシグネチャが得られることを示す。
エントロピーを意味的分割に制限することにより、エントロピーは異なる抽象レベルでの意味的な決定をさらに解決することができる。
本研究では, この挙動を高次元ガウス混合モデルで解析し, エントロピー速度が, 分散保存拡散で以前に同定された偏差対称性破壊不安定性と同じ対数時間スケールに集中していることを示す。
EDM2-XS と安定拡散 1.5 では,クラス条件エントロピーが意味構造形成に不可欠なノイズ機構を一貫して分離する。
最後に、私たちのフレームワークを使用して、ガイダンスが意味情報を時間とともに再分配する方法を定量化します。
これらの結果は、拡散に関する情報理論と統計物理学の視点を結びつけるとともに、時間的局所制御の原理的な基礎を提供する。
関連論文リスト
- Breaking the Bottlenecks: Scalable Diffusion Models for 3D Molecular Generation [0.0]
拡散モデルは分子設計のための強力な生成モデルとして登場した。
彼らの使用は、長いサンプリング軌道、逆過程のばらつき、そして力学の認知における構造的認識の制限によって制限されている。
直接分極拡散モデル(英語版)は、逆MCMC更新を決定論的分極ステップに置き換えることでこれらの非効率性を緩和する。
論文 参考訳（メタデータ） (2026-01-13T20:09:44Z) - Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
この記事は、一般状態空間上の拡散に関する自己完結プライマーである。
我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。
一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
論文 参考訳（メタデータ） (2025-12-04T18:55:36Z) - Diffusion Models: A Mathematical Introduction [3.8673630752805437]
本稿では拡散に基づく生成モデルの自己完結型導出について述べる。
第一原理から拡散確率モデルを構築する。
読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
論文 参考訳（メタデータ） (2025-11-13T16:20:52Z) - A Free Probabilistic Framework for Denoising Diffusion Models: Entropy, Transport, and Reverse Processes [22.56299060022639]
本稿では、自由エントロピーと自由フィッシャー情報の理論に基づく。
我々は拡散を定式化し、演算子値のダイナミクスによって支配される逆過程を定量化する。
結果として生じる力学は、非可換ワッサーシュタイン空間における勾配-フロー構造を持つ。
論文 参考訳（メタデータ） (2025-10-26T18:03:54Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Measuring Semantic Information Production in Generative Diffusion Models [4.133545163830844]
意味的特徴と構造的特徴が拡散の逆ダイナミクスの間に異なる時期に現れることはよく知られている。
生成過程において,これらのクラス・セマンティックな「決定」がいつ行われるかを測定するための一般的な情報理論的アプローチを導入する。
論文 参考訳（メタデータ） (2025-06-12T07:35:29Z) - Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-03-02T16:10:32Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。
提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。
我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文 参考訳（メタデータ） (2021-11-25T17:33:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。