論文の概要: DEMI: Discriminative Estimator of Mutual Information
- arxiv url: http://arxiv.org/abs/2010.01766v2
- Date: Mon, 30 Nov 2020 02:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:40:42.233919
- Title: DEMI: Discriminative Estimator of Mutual Information
- Title(参考訳): DEMI: 相互情報の識別的推定
- Authors: Ruizhi Liao, Daniel Moyer, Polina Golland, William M. Wells
- Abstract要約: 連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
- 参考スコア(独自算出の注目度): 5.248805627195347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating mutual information between continuous random variables is often
intractable and extremely challenging for high-dimensional data. Recent
progress has leveraged neural networks to optimize variational lower bounds on
mutual information. Although showing promise for this difficult problem, the
variational methods have been theoretically and empirically proven to have
serious statistical limitations: 1) many methods struggle to produce accurate
estimates when the underlying mutual information is either low or high; 2) the
resulting estimators may suffer from high variance. Our approach is based on
training a classifier that provides the probability that a data sample pair is
drawn from the joint distribution rather than from the product of its marginal
distributions. Moreover, we establish a direct connection between mutual
information and the average log odds estimate produced by the classifier on a
test set, leading to a simple and accurate estimator of mutual information. We
show theoretically that our method and other variational approaches are
equivalent when they achieve their optimum, while our method sidesteps the
variational bound. Empirical results demonstrate high accuracy of our approach
and the advantages of our estimator in the context of representation learning.
Our demo is available at https://github.com/RayRuizhiLiao/demi_mi_estimator.
- Abstract(参考訳): 連続確率変数間の相互情報の推定は、しばしば難解であり、高次元データでは極めて困難である。
近年の進歩では、ニューラルネットワークを利用して相互情報の変動下限を最適化している。
この難しい問題への期待を示す一方で、変分法は理論的にも経験的にも重大な統計的制限があることが証明されている。
1) 基礎となる相互情報が低い場合又は高い場合,多くの手法が正確な推定を行うのに苦労する。
2) 結果の予測者は高い分散に悩むことがある。
このアプローチは,データサンプルペアが限界分布の積からではなく,ジョイント分布から引き出される確率を提供する分類器の訓練に基づいている。
さらに,テストセット上で分類器が生成する平均ログオッズ推定値と相互情報との直接接続を確立することにより,相互情報の簡易かつ正確な推定を行う。
理論的には,本手法と他の変分法は最適解が得られたときに等価であることを示し,本手法は変分法を左右する。
実験結果から,提案手法の精度と,表現学習の文脈における推定器の利点が示された。
デモはhttps://github.com/rayruizhiliao/demi_mi_estimator.comで公開しています。
関連論文リスト
- Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳(メタデータ) (2023-11-10T15:33:19Z) - The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions [52.85079110699378]
本稿では,情報分布の微細化をポイントワイドな情報プロファイルの近似に利用する方法を示す。
また, 相互情報のモデルに基づくベイズ推定において, 詳細な分布をいかに利用できるかを示す。
論文 参考訳(メタデータ) (2023-10-16T10:02:24Z) - Optimal Heterogeneous Collaborative Linear Regression and Contextual
Bandits [34.121889149071684]
本研究では、各インスタンスの関連パラメータが大域的パラメータとスパースなインスタンス固有項と等しくなるような協調線形回帰と文脈的バンドイットについて検討する。
MOLARと呼ばれる新しい2段階推定器を提案し、まず、インスタンスの線形回帰推定のエントリーワイド中央値を構築し、その後、インスタンス固有推定値を中央値に向けて縮小することで、この構造を利用する。
次に、MOLARを用いて、不均一な協調的文脈的包帯の手法を開発し、独立した包帯法と比較して、後悔の保証を改善する。
論文 参考訳(メタデータ) (2023-06-09T22:48:13Z) - On the Effectiveness of Hybrid Mutual Information Estimation [1.0312968200748118]
共同分布からのサンプルからの相互情報を推定することは、科学と工学において難しい問題である。
本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。
予測量子化(PQ: Predictive Quantization)は,計算オーバーヘッドを最小限に抑えるために,識別的推定器と簡単に組み合わせることができる簡易な生成法である。
論文 参考訳(メタデータ) (2023-06-01T12:26:07Z) - Adapting to Continuous Covariate Shift via Online Density Ratio
Estimation [90.62832273403077]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
我々の目標は、予測者が時間とともに蓄積される予測リスクを最小限に抑えるように、適応的に予測者を訓練することである。
論文 参考訳(メタデータ) (2023-02-06T04:03:33Z) - Learn from Unpaired Data for Image Restoration: A Variational Bayes
Approach [18.007258270845107]
境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。
本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
論文 参考訳(メタデータ) (2022-04-21T13:27:17Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the
Predictive Uncertainties [12.068153197381575]
高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。
新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。
優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
論文 参考訳(メタデータ) (2020-05-22T11:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。