論文の概要: DEMI: Discriminative Estimator of Mutual Information

• arxiv url: http://arxiv.org/abs/2010.01766v2
• Date: Mon, 30 Nov 2020 02:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:40:42.233919
• Title: DEMI: Discriminative Estimator of Mutual Information
• Title（参考訳）: DEMI: 相互情報の識別的推定
• Authors: Ruizhi Liao, Daniel Moyer, Polina Golland, William M. Wells
• Abstract要約: 連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
• 参考スコア（独自算出の注目度）: 5.248805627195347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating mutual information between continuous random variables is often intractable and extremely challenging for high-dimensional data. Recent progress has leveraged neural networks to optimize variational lower bounds on mutual information. Although showing promise for this difficult problem, the variational methods have been theoretically and empirically proven to have serious statistical limitations: 1) many methods struggle to produce accurate estimates when the underlying mutual information is either low or high; 2) the resulting estimators may suffer from high variance. Our approach is based on training a classifier that provides the probability that a data sample pair is drawn from the joint distribution rather than from the product of its marginal distributions. Moreover, we establish a direct connection between mutual information and the average log odds estimate produced by the classifier on a test set, leading to a simple and accurate estimator of mutual information. We show theoretically that our method and other variational approaches are equivalent when they achieve their optimum, while our method sidesteps the variational bound. Empirical results demonstrate high accuracy of our approach and the advantages of our estimator in the context of representation learning. Our demo is available at https://github.com/RayRuizhiLiao/demi_mi_estimator.
• Abstract（参考訳）: 連続確率変数間の相互情報の推定は、しばしば難解であり、高次元データでは極めて困難である。 近年の進歩では、ニューラルネットワークを利用して相互情報の変動下限を最適化している。 この難しい問題への期待を示す一方で、変分法は理論的にも経験的にも重大な統計的制限があることが証明されている。 1) 基礎となる相互情報が低い場合又は高い場合,多くの手法が正確な推定を行うのに苦労する。 2) 結果の予測者は高い分散に悩むことがある。 このアプローチは,データサンプルペアが限界分布の積からではなく,ジョイント分布から引き出される確率を提供する分類器の訓練に基づいている。 さらに,テストセット上で分類器が生成する平均ログオッズ推定値と相互情報との直接接続を確立することにより,相互情報の簡易かつ正確な推定を行う。 理論的には,本手法と他の変分法は最適解が得られたときに等価であることを示し,本手法は変分法を左右する。 実験結果から,提案手法の精度と,表現学習の文脈における推定器の利点が示された。 デモはhttps://github.com/rayruizhiliao/demi_mi_estimator.comで公開しています。

関連論文リスト

• Mutual Information Multinomial Estimation [53.58005108981247]
  相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
  論文  参考訳（メタデータ） (2024-08-18T06:27:30Z)
• Discriminative Estimation of Total Variation Distance: A Fidelity Auditor for Generative Data [10.678533056953784]
  本稿では,2つの分布間の総変動(TV)距離を推定する判別手法を提案する。 本手法は,2つの分布の分類におけるベイズリスクとテレビの距離の関係を定量的に評価する。 分類において、特定の仮説クラスを選択することで、テレビの距離を推定する際の高速収束率が達成できることを実証する。
  論文  参考訳（メタデータ） (2024-05-24T08:18:09Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• On the Effectiveness of Hybrid Mutual Information Estimation [1.0312968200748118]
  共同分布からのサンプルからの相互情報を推定することは、科学と工学において難しい問題である。 本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。 予測量子化(PQ: Predictive Quantization)は,計算オーバーヘッドを最小限に抑えるために,識別的推定器と簡単に組み合わせることができる簡易な生成法である。
  論文  参考訳（メタデータ） (2023-06-01T12:26:07Z)
• Mutual Information Estimation via $f$-Divergence and Data Derangements [6.43826005042477]
  本稿では,$f$-divergenceの変動表現に基づく,新たな識別情報推定手法を提案する。 提案した推定器は、優れたバイアス/分散トレードオフを示すため、柔軟である。
  論文  参考訳（メタデータ） (2023-05-31T16:54:25Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。