論文の概要: On the Effectiveness of Hybrid Mutual Information Estimation
- arxiv url: http://arxiv.org/abs/2306.00608v2
- Date: Fri, 2 Jun 2023 08:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 11:13:32.224176
- Title: On the Effectiveness of Hybrid Mutual Information Estimation
- Title(参考訳): ハイブリッド相互情報推定の有効性について
- Authors: Marco Federici, David Ruhe, Patrick Forr\'e
- Abstract要約: 共同分布からのサンプルからの相互情報を推定することは、科学と工学において難しい問題である。
本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。
予測量子化(PQ: Predictive Quantization)は,計算オーバーヘッドを最小限に抑えるために,識別的推定器と簡単に組み合わせることができる簡易な生成法である。
- 参考スコア(独自算出の注目度): 1.0312968200748118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the mutual information from samples from a joint distribution is a
challenging problem in both science and engineering. In this work, we realize a
variational bound that generalizes both discriminative and generative
approaches. Using this bound, we propose a hybrid method to mitigate their
respective shortcomings. Further, we propose Predictive Quantization (PQ): a
simple generative method that can be easily combined with discriminative
estimators for minimal computational overhead. Our propositions yield a tighter
bound on the information thanks to the reduced variance of the estimator. We
test our methods on a challenging task of correlated high-dimensional Gaussian
distributions and a stochastic process involving a system of free particles
subjected to a fixed energy landscape. Empirical results show that hybrid
methods consistently improved mutual information estimates when compared to the
corresponding discriminative counterpart.
- Abstract(参考訳): 共同分布からサンプルから相互情報を推定することは、科学と工学の両方において難しい問題である。
本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。
このバウンドを用いることで,それぞれの欠点を緩和するハイブリッド手法を提案する。
さらに,予測量子化法(pq)を提案する。この手法は,計算のオーバーヘッドを最小限に抑えるために,識別的推定器と容易に組み合わせることができる。
我々の提案は、推定値のばらつきの低減により、情報により強く結びつく。
本研究では,高次元ガウス分布を関連付ける課題と,固定エネルギー環境下の自由粒子系を含む確率過程について実験を行った。
実験の結果, ハイブリッド手法は, 相互情報推定を, 対応する判別法と比較して一貫して改善することがわかった。
関連論文リスト
- Estimating Unknown Population Sizes Using the Hypergeometric
Distribution [1.223779595809275]
総人口と構成カテゴリーの規模が不明な場合, 個別分布の推定に挑戦する。
本研究では,連続潜伏変数上での分布条件の混合となるデータ生成過程について考察する。
実験データシミュレーションにより,本手法は数値データをモデル化する他の可能性関数よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-02-22T01:53:56Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - MINDE: Mutual Information Neural Diffusion Estimation [8.316365279740188]
確率変数間の相互情報(MI)を推定するための新しい手法を提案する。
スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。
副産物として,確率変数のエントロピーの推定も可能である。
論文 参考訳(メタデータ) (2023-10-13T11:47:41Z) - Joint Probability Estimation Using Tensor Decomposition and Dictionaries [3.4720326275851994]
本研究では, 与えられた離散確率と連続確率変数の連立確率の非パラメトリック推定を, それらの(経験的推定)2次元境界値から検討した。
我々は、データを調べて分布の様々なファミリーの辞書を作成し、それを混合した製品の各分解因子を近似するために利用する。
論文 参考訳(メタデータ) (2022-03-03T11:55:51Z) - A Robust and Flexible EM Algorithm for Mixtures of Elliptical
Distributions with Missing Data [71.9573352891936]
本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。
楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。
合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
論文 参考訳(メタデータ) (2022-01-28T10:01:37Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳(メタデータ) (2020-12-03T18:08:30Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳(メタデータ) (2020-10-05T04:19:27Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z) - Almost-Matching-Exactly for Treatment Effect Estimation under Network
Interference [73.23326654892963]
本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。
本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
論文 参考訳(メタデータ) (2020-03-02T15:21:20Z) - Distributed Sketching Methods for Privacy Preserving Regression [54.51566432934556]
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
従来のスケッチ手法に対する新しい近似保証を導出し、分散スケッチにおけるパラメータ平均化の精度を解析する。
大規模実験によるサーバレスコンピューティングプラットフォームにおける分散スケッチのパフォーマンスについて説明する。
論文 参考訳(メタデータ) (2020-02-16T08:35:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。