論文の概要: Measuring Semantic Information Production in Generative Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.10433v1
• Date: Thu, 12 Jun 2025 07:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.630914
• Title: Measuring Semantic Information Production in Generative Diffusion Models
• Title（参考訳）: 生成拡散モデルにおける意味情報生成の測定
• Authors: Florian Handke, Félix Koulischer, Gabriel Raya, Luca Ambrogioni,
• Abstract要約: 意味的特徴と構造的特徴が拡散の逆ダイナミクスの間に異なる時期に現れることはよく知られている。 生成過程において,これらのクラス・セマンティックな「決定」がいつ行われるかを測定するための一般的な情報理論的アプローチを導入する。
• 参考スコア（独自算出の注目度）: 4.133545163830844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well known that semantic and structural features of the generated images emerge at different times during the reverse dynamics of diffusion, a phenomenon that has been connected to physical phase transitions in magnets and other materials. In this paper, we introduce a general information-theoretic approach to measure when these class-semantic "decisions" are made during the generative process. By using an online formula for the optimal Bayesian classifier, we estimate the conditional entropy of the class label given the noisy state. We then determine the time intervals corresponding to the highest information transfer between noisy states and class labels using the time derivative of the conditional entropy. We demonstrate our method on one-dimensional Gaussian mixture models and on DDPM models trained on the CIFAR10 dataset. As expected, we find that the semantic information transfer is highest in the intermediate stages of diffusion while vanishing during the final stages. However, we found sizable differences between the entropy rate profiles of different classes, suggesting that different "semantic decisions" are located at different intermediate times.
• Abstract（参考訳）: 生成した画像の意味的特徴と構造的特徴が拡散の逆ダイナミクスの間に異なるタイミングで現れることはよく知られている。 本稿では,これらのクラス・セマンティックな「決定」を生成過程中に行う場合の一般的な情報理論的アプローチを提案する。 最適ベイズ分類器のオンライン公式を用いて、雑音状態が与えられたクラスラベルの条件エントロピーを推定する。 次に、条件エントロピーの時間微分を用いて、ノイズ状態とクラスラベルの間の最も高い情報伝達に対応する時間間隔を決定する。 本稿では,1次元ガウス混合モデルと,CIFAR10データセットでトレーニングしたDDPMモデルについて述べる。 予想通り, 最終段階における拡散の中間段階において, 意味情報伝達が最も高いことが判明した。 しかし,異なるクラス間のエントロピー率プロファイルには,異なる中間時間で異なる「意味決定」が存在することが示唆された。

関連論文リスト

• Conditional Synthesis of 3D Molecules with Time Correction Sampler [58.0834973489875]
  Time-Aware Conditional Synthesis (TACS) は拡散モデルにおける条件生成の新しい手法である。 適応的に制御されたプラグアンドプレイの"オンライン"ガイダンスを拡散モデルに統合し、サンプルを所望の特性に向けて駆動する。
  論文  参考訳（メタデータ） (2024-11-01T12:59:25Z)
• Meta Flow Matching: Integrating Vector Fields on the Wasserstein Manifold [83.18058549195855]
  自然科学における複数の過程は、確率密度のワッサーシュタイン多様体上のベクトル場として表さなければならない。 特に、疾患の発生とその治療反応が患者固有の細胞の微小環境に依存するパーソナライズド医療において重要である。 本稿では,初期個体群上の流れモデルを改善することで,ワッサーシュタイン多様体上のこれらのベクトル場と一体化するためのメタフローマッチング(MFM)を提案する。
  論文  参考訳（メタデータ） (2024-08-26T20:05:31Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Dynamical Regimes of Diffusion Models [14.797301819675454]
  空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
  論文  参考訳（メタデータ） (2024-02-28T17:19:26Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• DiffPhase: Generative Diffusion-based STFT Phase Retrieval [15.16865739526702]
  拡散確率モデルは最近、音声強調や合成を含む様々なタスクで使われている。 本研究は,位相探索に特化して音声強調拡散モデルを適用し,音声領域における過去の研究に基づいて構築する。 音声品質とインテリジェンス指標を用いた評価は, 位相探索作業に拡散アプローチが適していることを示し, 性能は古典的手法と近代的手法に勝っている。
  論文  参考訳（メタデータ） (2022-11-08T15:50:35Z)
• Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
  拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。 我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。 我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
  論文  参考訳（メタデータ） (2022-03-28T16:06:17Z)
• GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation [102.85440102147267]
  分子配座予測のための新しい生成モデルGeoDiffを提案する。 GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2022-03-06T09:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。