論文の概要: MMG: Mutual Information Estimation via the MMSE Gap in Diffusion

• arxiv url: http://arxiv.org/abs/2509.20609v1
• Date: Wed, 24 Sep 2025 23:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.619002
• Title: MMG: Mutual Information Estimation via the MMSE Gap in Diffusion
• Title（参考訳）: MMG:拡散におけるMMSEギャップによる相互情報推定
• Authors: Longxuan Yu, Xing Shi, Xianghao Kong, Tong Jia, Greg Ver Steeg,
• Abstract要約: 相互情報(MI)は、確率変数間の関係を測る最も一般的な方法の1つである。 拡散モデルのデノイングは、密度推定のための新しいバーを最近設定した。 拡散モデルを用いてMIを推定できることを示す。
• 参考スコア（独自算出の注目度）: 25.691925207007795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutual information (MI) is one of the most general ways to measure relationships between random variables, but estimating this quantity for complex systems is challenging. Denoising diffusion models have recently set a new bar for density estimation, so it is natural to consider whether these methods could also be used to improve MI estimation. Using the recently introduced information-theoretic formulation of denoising diffusion models, we show the diffusion models can be used in a straightforward way to estimate MI. In particular, the MI corresponds to half the gap in the Minimum Mean Square Error (MMSE) between conditional and unconditional diffusion, integrated over all Signal-to-Noise-Ratios (SNRs) in the noising process. Our approach not only passes self-consistency tests but also outperforms traditional and score-based diffusion MI estimators. Furthermore, our method leverages adaptive importance sampling to achieve scalable MI estimation, while maintaining strong performance even when the MI is high.
• Abstract（参考訳）: 相互情報(MI)は、確率変数間の関係を測る最も一般的な方法の1つであるが、複雑なシステムに対してこの量を評価することは困難である。 拡散モデルのデノイングは密度推定のための新しいバーを最近設定しているため、これらの手法がMI推定の改善にも使えるかどうかを考えるのも当然である。 最近導入された拡散モデルに関する情報理論の定式化を用いて、拡散モデルを用いてMIを推定できることを示す。 特に、MIは条件拡散と無条件拡散の間の最小平均角誤差(MMSE)のギャップの半分に対応し、ノイズ発生過程においてすべての信号-雑音比(SNR)に積分される。 提案手法は, 自己整合性試験に合格するだけでなく, 従来の拡散MI推定器よりも優れる。 さらに,MIが高い場合でも高い性能を維持しつつ,適応的な重要度サンプリングを利用してMI推定を実現する。

関連論文リスト

• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• MINDE: Mutual Information Neural Diffusion Estimation [7.399561232927219]
  確率変数間の相互情報(MI)を推定するための新しい手法を提案する。 スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。 副産物として,確率変数のエントロピーの推定も可能である。
  論文  参考訳（メタデータ） (2023-10-13T11:47:41Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS [0.0]
  相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。 近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。 我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
  論文  参考訳（メタデータ） (2020-11-17T14:32:48Z)
• A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models [78.6363825307044]
  本研究は、自己組織化マップ(SOM)とガウス混合モデル(GMM)の関係を数学的に扱うものである。 我々は,エネルギーベースSOMモデルを勾配勾配下降と解釈できることを示した。 このリンクはSOMsを生成確率モデルとして扱うことができ、SOMsを使用して外れ値を検出したりサンプリングしたりするための正式な正当性を与える。
  論文  参考訳（メタデータ） (2020-09-24T14:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。