論文の概要: MINDE: Mutual Information Neural Diffusion Estimation
- arxiv url: http://arxiv.org/abs/2310.09031v2
- Date: Wed, 15 May 2024 09:21:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 18:22:05.903526
- Title: MINDE: Mutual Information Neural Diffusion Estimation
- Title（参考訳）: MINDE:相互情報ニューラル拡散推定
- Authors: Giulio Franzese, Mustapha Bounoua, Pietro Michiardi,
- Abstract要約: 確率変数間の相互情報(MI)を推定するための新しい手法を提案する。
スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。
副産物として,確率変数のエントロピーの推定も可能である。
- 参考スコア（独自算出の注目度）: 7.399561232927219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we present a new method for the estimation of Mutual Information (MI) between random variables. Our approach is based on an original interpretation of the Girsanov theorem, which allows us to use score-based diffusion models to estimate the Kullback Leibler divergence between two densities as a difference between their score functions. As a by-product, our method also enables the estimation of the entropy of random variables. Armed with such building blocks, we present a general recipe to measure MI, which unfolds in two directions: one uses conditional diffusion process, whereas the other uses joint diffusion processes that allow simultaneous modelling of two random variables. Our results, which derive from a thorough experimental protocol over all the variants of our approach, indicate that our method is more accurate than the main alternatives from the literature, especially for challenging distributions. Furthermore, our methods pass MI self-consistency tests, including data processing and additivity under independence, which instead are a pain-point of existing methods.
- Abstract（参考訳）: 本研究では,確率変数間の相互情報(MI)を推定するための新しい手法を提案する。
我々のアプローチは、Girsanov定理のオリジナルの解釈に基づいており、スコアベースの拡散モデルを用いて、2つの密度間のクルバック・リーブラの偏差をスコア関数の差として推定することができる。
副産物として,確率変数のエントロピーの推定も可能である。
このような構造ブロックを組み込んだMIの測定方法を提案する。一方は条件拡散過程を使い、他方は2つの確率変数の同時モデリングを可能にする共同拡散過程を使用する。
提案手法は,提案手法のすべての変種に対する徹底的な実験的プロトコルから導かれるものであり,本手法が文献,特に難解な分布に対する主な代替手段よりも正確であることを示す。
さらに,本手法は,データ処理や独立性の付加性を含むMI自己整合性試験をパスする。
関連論文リスト
- Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Improving Probabilistic Diffusion Models With Optimal Covariance Matching [27.2761325416843]
対角的共分散を学習するための新しい手法を提案する。
提案手法は,拡散モデルと潜伏拡散モデルの両方のサンプリング効率,リコール率,および可能性を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2024-06-16T05:47:12Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Score-based Source Separation with Applications to Digital Communication
Signals [72.6570125649502]
拡散モデルを用いた重畳音源の分離手法を提案する。
高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。
提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
論文 参考訳（メタデータ） (2023-06-26T04:12:40Z) - Positive definite nonparametric regression using an evolutionary
algorithm with application to covariance function estimation [0.0]
定常過程の共分散関数を推定するための新しい非パラメトリック回帰フレームワークを提案する。
提案手法は, 正定性, 等方性, 単調性を推定者に課すことができる。
提案手法は,長距離依存に対する信頼性の高い推定値を提供する。
論文 参考訳（メタデータ） (2023-04-25T22:01:14Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Comparing two samples through stochastic dominance: a graphical approach [2.867517731896504]
実世界のシナリオでは非決定論的測定が一般的である。
推定累積分布関数に従って2つのサンプルを視覚的に比較するフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-15T13:37:03Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。