論文の概要: Measuring Semantic Information Production in Generative Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.10433v1
• Date: Thu, 12 Jun 2025 07:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.630914
• Title: Measuring Semantic Information Production in Generative Diffusion Models
• Title（参考訳）: 生成拡散モデルにおける意味情報生成の測定
• Authors: Florian Handke, Félix Koulischer, Gabriel Raya, Luca Ambrogioni,
• Abstract要約: 意味的特徴と構造的特徴が拡散の逆ダイナミクスの間に異なる時期に現れることはよく知られている。 生成過程において,これらのクラス・セマンティックな「決定」がいつ行われるかを測定するための一般的な情報理論的アプローチを導入する。
• 参考スコア（独自算出の注目度）: 4.133545163830844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well known that semantic and structural features of the generated images emerge at different times during the reverse dynamics of diffusion, a phenomenon that has been connected to physical phase transitions in magnets and other materials. In this paper, we introduce a general information-theoretic approach to measure when these class-semantic "decisions" are made during the generative process. By using an online formula for the optimal Bayesian classifier, we estimate the conditional entropy of the class label given the noisy state. We then determine the time intervals corresponding to the highest information transfer between noisy states and class labels using the time derivative of the conditional entropy. We demonstrate our method on one-dimensional Gaussian mixture models and on DDPM models trained on the CIFAR10 dataset. As expected, we find that the semantic information transfer is highest in the intermediate stages of diffusion while vanishing during the final stages. However, we found sizable differences between the entropy rate profiles of different classes, suggesting that different "semantic decisions" are located at different intermediate times.
• Abstract（参考訳）: 生成した画像の意味的特徴と構造的特徴が拡散の逆ダイナミクスの間に異なるタイミングで現れることはよく知られている。 本稿では,これらのクラス・セマンティックな「決定」を生成過程中に行う場合の一般的な情報理論的アプローチを提案する。 最適ベイズ分類器のオンライン公式を用いて、雑音状態が与えられたクラスラベルの条件エントロピーを推定する。 次に、条件エントロピーの時間微分を用いて、ノイズ状態とクラスラベルの間の最も高い情報伝達に対応する時間間隔を決定する。 本稿では,1次元ガウス混合モデルと,CIFAR10データセットでトレーニングしたDDPMモデルについて述べる。 予想通り, 最終段階における拡散の中間段階において, 意味情報伝達が最も高いことが判明した。 しかし,異なるクラス間のエントロピー率プロファイルには,異なる中間時間で異なる「意味決定」が存在することが示唆された。

関連論文リスト

• The Entropic Signature of Class Speciation in Diffusion Models [12.212582407125089]
  雑音状態が与えられた潜在意味変数のクラス条件エントロピーを追跡することで、遷移状態の信頼できるシグネチャが得られることを示す。 EDM2-XS と安定拡散 1.5 では,クラス条件エントロピーが意味構造形成に不可欠なノイズ機構を一貫して分離する。
  論文  参考訳（メタデータ） (2026-02-10T10:56:46Z)
• Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold [19.059115911590776]
  対数密度リッジ多様体を提案することにより、拡散モデルが生成するものを明示的に特徴づける。 生成したデータは、推論ダイナミクスが進むにつれて、この多様体にどのように関係するかを示す。 トレーニングダイナミクスのより詳細な理解は、生成帰納バイアスのより正確な定量化につながる。
  論文  参考訳（メタデータ） (2026-02-05T18:55:03Z)
• Theory of Speciation Transitions in Diffusion Models with General Class Structure [5.939780039158003]
  拡散モデルは拡散過程を反転させ、ノイズをターゲット分布から引き出された構造化サンプルに変換することによってデータを生成する。 最近の理論的研究により、この後方ダイナミクスは、偏光遷移として知られる鋭い定性的遷移を経ることができることが示されている。 拡散モデルにおける偏差の一般理論を開発し、適切に定義されたクラスを持つ任意の対象分布に適用する。
  論文  参考訳（メタデータ） (2026-02-04T10:35:47Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• The Principles of Diffusion Models [81.12042238390075]
  拡散モデリングは、データを徐々にノイズに分解するフォワードプロセスを定義することから始まる。 目標は、ノイズをデータに変換しながら、同じ中間体を回復するリバースプロセスを学ぶことだ。 エネルギーベースモデリングに根ざしたスコアベースビューは、進化するデータ分布の勾配を学習する。 フローベースのビューは、フローの正規化に関連するもので、サンプルをノイズからデータに移すスムーズなパスに従って生成する。
  論文  参考訳（メタデータ） (2025-10-24T02:29:02Z)
• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
  拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。 本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。 統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
  論文  参考訳（メタデータ） (2025-07-21T17:10:16Z)
• Conditional Synthesis of 3D Molecules with Time Correction Sampler [58.0834973489875]
  Time-Aware Conditional Synthesis (TACS) は拡散モデルにおける条件生成の新しい手法である。 適応的に制御されたプラグアンドプレイの"オンライン"ガイダンスを拡散モデルに統合し、サンプルを所望の特性に向けて駆動する。
  論文  参考訳（メタデータ） (2024-11-01T12:59:25Z)
• Meta Flow Matching: Integrating Vector Fields on the Wasserstein Manifold [83.18058549195855]
  自然科学における複数の過程は、確率密度のワッサーシュタイン多様体上のベクトル場として表さなければならない。 特に、疾患の発生とその治療反応が患者固有の細胞の微小環境に依存するパーソナライズド医療において重要である。 本稿では,初期個体群上の流れモデルを改善することで,ワッサーシュタイン多様体上のこれらのベクトル場と一体化するためのメタフローマッチング(MFM)を提案する。
  論文  参考訳（メタデータ） (2024-08-26T20:05:31Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Dynamical Regimes of Diffusion Models [14.797301819675454]
  空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
  論文  参考訳（メタデータ） (2024-02-28T17:19:26Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• DiffPhase: Generative Diffusion-based STFT Phase Retrieval [15.16865739526702]
  拡散確率モデルは最近、音声強調や合成を含む様々なタスクで使われている。 本研究は,位相探索に特化して音声強調拡散モデルを適用し,音声領域における過去の研究に基づいて構築する。 音声品質とインテリジェンス指標を用いた評価は, 位相探索作業に拡散アプローチが適していることを示し, 性能は古典的手法と近代的手法に勝っている。
  論文  参考訳（メタデータ） (2022-11-08T15:50:35Z)
• Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
  拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。 我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。 我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
  論文  参考訳（メタデータ） (2022-03-28T16:06:17Z)
• GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation [102.85440102147267]
  分子配座予測のための新しい生成モデルGeoDiffを提案する。 GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2022-03-06T09:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。