論文の概要: Improving Mutual Information Estimation with Annealed and Energy-Based Bounds

• arxiv url: http://arxiv.org/abs/2303.06992v1
• Date: Mon, 13 Mar 2023 10:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 15:36:09.593538
• Title: Improving Mutual Information Estimation with Annealed and Energy-Based Bounds
• Title（参考訳）: アニールおよびエネルギーベース境界による相互情報推定の改善
• Authors: Rob Brekelmans, Sicong Huang, Marzyeh Ghassemi, Greg Ver Steeg, Roger Grosse, Alireza Makhzani
• Abstract要約: 相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
• 参考スコア（独自算出の注目度）: 20.940022170594816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual information (MI) is a fundamental quantity in information theory and machine learning. However, direct estimation of MI is intractable, even if the true joint probability density for the variables of interest is known, as it involves estimating a potentially high-dimensional log partition function. In this work, we present a unifying view of existing MI bounds from the perspective of importance sampling, and propose three novel bounds based on this approach. Since accurate estimation of MI without density information requires a sample size exponential in the true MI, we assume either a single marginal or the full joint density information is known. In settings where the full joint density is available, we propose Multi-Sample Annealed Importance Sampling (AIS) bounds on MI, which we demonstrate can tightly estimate large values of MI in our experiments. In settings where only a single marginal distribution is known, we propose Generalized IWAE (GIWAE) and MINE-AIS bounds. Our GIWAE bound unifies variational and contrastive bounds in a single framework that generalizes InfoNCE, IWAE, and Barber-Agakov bounds. Our MINE-AIS method improves upon existing energy-based methods such as MINE-DV and MINE-F by directly optimizing a tighter lower bound on MI. MINE-AIS uses MCMC sampling to estimate gradients for training and Multi-Sample AIS for evaluating the bound. Our methods are particularly suitable for evaluating MI in deep generative models, since explicit forms of the marginal or joint densities are often available. We evaluate our bounds on estimating the MI of VAEs and GANs trained on the MNIST and CIFAR datasets, and showcase significant gains over existing bounds in these challenging settings with high ground truth MI.
• Abstract（参考訳）: 相互情報 (MI) は情報理論と機械学習の基本的な量である。 しかし、MIの直接推定は、たとえ興味のある変数の真の結合確率密度が知られているとしても、潜在的に高次元のログ分割関数を推定することを含む。 本稿では,重要度サンプリングの観点から,既存のMI境界の統一的な視点を示し,このアプローチに基づく3つの新しい境界を提案する。 密度情報のないMIの正確な推定には、真のMIで指数関数的なサンプルサイズを必要とするため、単一の辺りまたは完全な関節密度情報が知られていると仮定する。 本実験では,全関節密度が利用可能である場合,miのマルチサンプルアニール化重要度サンプリング(ais)境界を提案する。 1つの限界分布しか知られていない環境では、一般化IWAE(GIWAE)とMINE-AIS境界を提案する。 我々のGIWAE境界は、InfoNCE、IWAE、Barber-Agakov境界を一般化する単一のフレームワークにおいて変動境界とコントラスト境界を統一する。 MINE-AIS法はMINE-DVやMINE-Fといった既存のエネルギーベース手法をMIのより強い下界を直接最適化することで改善する。 MINE-AISはMCMCサンプリングを用いてトレーニングの勾配を推定し、境界値の評価にはマルチサンプルAISを用いる。 本手法は, 境界密度や関節密度の明示的な形態がしばしば見られるため, 深部生成モデルにおけるMIの評価に特に適している。 MNIST と CIFAR データセットでトレーニングしたVAE と GAN の MI を推定することの限界を評価し、これらの挑戦的な設定において、高地真理 MI を用いて既存の境界よりも顕著に向上したことを示す。

関連論文リスト

• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Mutual Information Estimation via Normalizing Flows [39.58317527488534]
  本稿では,相互情報推定問題に対する新しいアプローチを提案する。 推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。 また、MI の既知閉形式表現を用いて対象分布を探索する。
  論文  参考訳（メタデータ） (2024-03-04T16:28:04Z)
• A robust estimator of mutual information for deep learning interpretability [2.574652392763709]
  本稿では,離散的かつ連続的な設定にも適用可能なアルゴリズムGMM-MIを提案する。 我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証する。 次に、表現学習の文脈におけるMI推定器の使用例を示す。
  論文  参考訳（メタデータ） (2022-10-31T18:00:02Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Decomposed Mutual Information Estimation for Contrastive Representation Learning [66.52795579973484]
  最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。 そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。 この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
  論文  参考訳（メタデータ） (2021-06-25T03:19:25Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。