論文の概要: Mutual Information Estimation via Normalizing Flows
- arxiv url: http://arxiv.org/abs/2403.02187v3
- Date: Sat, 25 May 2024 09:37:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 06:45:59.929204
- Title: Mutual Information Estimation via Normalizing Flows
- Title（参考訳）: 正規化フローによる相互情報推定
- Authors: Ivan Butakov, Alexander Tolmachev, Sofia Malanchuk, Anna Neopryatnaya, Alexey Frolov,
- Abstract要約: 本稿では,相互情報推定問題に対する新しいアプローチを提案する。
推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。
また、MI の既知閉形式表現を用いて対象分布を探索する。
- 参考スコア（独自算出の注目度）: 39.58317527488534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel approach to the problem of mutual information (MI) estimation via introducing a family of estimators based on normalizing flows. The estimator maps original data to the target distribution, for which MI is easier to estimate. We additionally explore the target distributions with known closed-form expressions for MI. Theoretical guarantees are provided to demonstrate that our approach yields MI estimates for the original data. Experiments with high-dimensional data are conducted to highlight the practical advantages of the proposed method.
- Abstract（参考訳）: 本稿では,正規化フローに基づく推定器群の導入による相互情報(MI)推定問題に対する新しいアプローチを提案する。
推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。
また、MI の既知閉形式表現を用いて対象分布を探索する。
理論的な保証は、我々の手法が元のデータに対してMI推定値を得ることを示すためである。
提案手法の実用性を明らかにするため,高次元データを用いた実験を行った。
関連論文リスト
- Mutual Information Multinomial Estimation [53.58005108981247]
相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。
我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。
非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
論文 参考訳（メタデータ） (2024-08-18T06:27:30Z) - On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。
そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文 参考訳（メタデータ） (2023-10-16T10:02:24Z) - MINDE: Mutual Information Neural Diffusion Estimation [7.399561232927219]
確率変数間の相互情報(MI)を推定するための新しい手法を提案する。
スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。
副産物として,確率変数のエントロピーの推定も可能である。
論文 参考訳（メタデータ） (2023-10-13T11:47:41Z) - Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。
本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文 参考訳（メタデータ） (2023-06-19T17:26:34Z) - Improving Mutual Information Estimation with Annealed and Energy-Based
Bounds [20.940022170594816]
相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。
重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。
このアプローチに基づく3つの新しい境界を提案する。
論文 参考訳（メタデータ） (2023-03-13T10:47:24Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Mixture of von Mises-Fisher distribution with sparse prototypes [0.0]
von Mises-Fisher分布の混合は、単位超球面上のデータをクラスタリングするのに使うことができる。
本稿では,l1のペナル化確率を用いてフォン・ミーゼス混合物を推定する。
論文 参考訳（メタデータ） (2022-12-30T08:00:38Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization [0.0]
メタラーニングを用いて情報共役の事前分布の推定を自動化する新しい手法を提案する。
このプロセスから、元のデータ分布の形状パラメータを推定するために、わずかなデータしか必要としない先行データを生成する。
論文 参考訳（メタデータ） (2021-01-03T23:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。