論文の概要: Feature Information Dynamics in Diffusion

• arxiv url: http://arxiv.org/abs/2610.08626v1
• Date: Tue, 06 Oct 2026 16:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.107444
• Title: Feature Information Dynamics in Diffusion
• Title（参考訳）: 拡散における特徴情報ダイナミクス
• Abstract要約: 拡散中に特徴が生成されるときのローカライズのための情報理論フレームワークである特徴情報力学を導入する。 I-MMSEアイデンティティーを用いて、特徴相互情報の変化率を最適無条件と特徴-条件記述損失のギャップに接続する。 まず、このフレームワークを用いて、画素拡散のスペクトル自己回帰を定量的に確認し、周波数を超えて解析を拡張する。
• 参考スコア（独自算出の注目度）: 10.798288752274265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models generate data through a continuum of denoising problems, and are widely observed to reveal coarse structure before fine detail. Yet, this intuition is mostly empirical and qualitative. We introduce feature information dynamics, an information-theoretic framework for localizing when a feature is generated during diffusion. Using the I-MMSE identity, we connect the rate of feature mutual information change to a gap between optimal unconditional and feature-conditional denoising losses, yielding practical estimators for feature information density. We further develop a chained decomposition that separates shared from incremental information in a feature hierarchy. We use this framework first to quantitatively confirm spectral autoregression in pixel diffusion, and then to extend the analysis beyond frequency: under a class $\to$ mask $\to$ Canny conditioning chain, the per-feature information densities differ across pixel, SDVAE, VAVAE, and RAE, exposing fundamental differences between these representations and suggesting that ordered generation could be beneficial for training diffusion models. Our code is available at https://github.com/AI4Science-WestlakeU/feature-information-dynamics.
• Abstract（参考訳）: 拡散モデルでは、問題をデノベーションする連続体を通してデータを生成し、細部よりも先に粗い構造を明らかにすることが広く観察されている。 しかし、この直観は経験的かつ定性的である。 拡散中に特徴が生成されるときのローカライズのための情報理論フレームワークである特徴情報力学を導入する。 I-MMSEアイデンティティーを用いて、特徴情報の相互変化率を最適無条件と特徴-条件記述損失のギャップに接続し、特徴情報密度の実用的な推定値を得る。 さらに、機能階層内のインクリメンタル情報から共有される情報を分離する連鎖分解を開発します。 クラス$\to$ mask $\to$ Canny conditioning chainの下では、画素、SDVAE、VAVAE、RAE間で機能ごとの情報密度が異なり、これらの表現の根本的な違いを明らかにし、順序生成が拡散モデルの訓練に有用であることを示唆する。 私たちのコードはhttps://github.com/AI4Science-WestlakeU/feature-information-dynamicsで利用可能です。

関連論文リスト

• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• Edge-preserving noise for diffusion models [4.435514696080208]
  既存の等方性モデルに対して一般化した新しいエッジ保存拡散モデルを提案する。 モデルの生成過程はより高速に収束し, 対象の分布とより密に一致していることを示す。 我々のエッジ保存拡散プロセスは、非条件画像生成における最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-10-02T13:29:52Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• InfoDiffusion: Representation Learning Using Information Maximizing Diffusion Models [35.566528358691336]
  InfoDiffusionは低次元潜伏変数を持つ拡散モデルを拡張するアルゴリズムである。 情報拡散は、観測された変数と隠れた変数の相互情報に規則化された学習目標に依存する。 インフォディフュージョンは、最先端の生成的およびコントラスト的手法と競合する非絡み合いおよび人間解釈可能な潜在表現を学習する。
  論文  参考訳（メタデータ） (2023-06-14T21:48:38Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。