論文の概要: On the Effectiveness of Hybrid Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2306.00608v2
• Date: Fri, 2 Jun 2023 08:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 11:13:32.224176
• Title: On the Effectiveness of Hybrid Mutual Information Estimation
• Title（参考訳）: ハイブリッド相互情報推定の有効性について
• Authors: Marco Federici, David Ruhe, Patrick Forr\'e
• Abstract要約: 共同分布からのサンプルからの相互情報を推定することは、科学と工学において難しい問題である。 本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。 予測量子化(PQ: Predictive Quantization)は,計算オーバーヘッドを最小限に抑えるために,識別的推定器と簡単に組み合わせることができる簡易な生成法である。
• 参考スコア（独自算出の注目度）: 1.0312968200748118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the mutual information from samples from a joint distribution is a challenging problem in both science and engineering. In this work, we realize a variational bound that generalizes both discriminative and generative approaches. Using this bound, we propose a hybrid method to mitigate their respective shortcomings. Further, we propose Predictive Quantization (PQ): a simple generative method that can be easily combined with discriminative estimators for minimal computational overhead. Our propositions yield a tighter bound on the information thanks to the reduced variance of the estimator. We test our methods on a challenging task of correlated high-dimensional Gaussian distributions and a stochastic process involving a system of free particles subjected to a fixed energy landscape. Empirical results show that hybrid methods consistently improved mutual information estimates when compared to the corresponding discriminative counterpart.
• Abstract（参考訳）: 共同分布からサンプルから相互情報を推定することは、科学と工学の両方において難しい問題である。 本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。 このバウンドを用いることで,それぞれの欠点を緩和するハイブリッド手法を提案する。 さらに,予測量子化法(pq)を提案する。この手法は,計算のオーバーヘッドを最小限に抑えるために,識別的推定器と容易に組み合わせることができる。 我々の提案は、推定値のばらつきの低減により、情報により強く結びつく。 本研究では,高次元ガウス分布を関連付ける課題と,固定エネルギー環境下の自由粒子系を含む確率過程について実験を行った。 実験の結果, ハイブリッド手法は, 相互情報推定を, 対応する判別法と比較して一貫して改善することがわかった。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Mutual Information Multinomial Estimation [53.58005108981247]
  相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
  論文  参考訳（メタデータ） (2024-08-18T06:27:30Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Estimating Unknown Population Sizes Using the Hypergeometric Distribution [1.03590082373586]
  総人口と構成カテゴリーの規模が不明な場合, 個別分布の推定に挑戦する。 本研究では,連続潜伏変数上での分布条件の混合となるデータ生成過程について考察する。 実験データシミュレーションにより,本手法は数値データをモデル化する他の可能性関数よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-22T01:53:56Z)
• Mutual Information Estimation via $f$-Divergence and Data Derangements [6.43826005042477]
  本稿では,$f$-divergenceの変動表現に基づく,新たな識別情報推定手法を提案する。 提案した推定器は、優れたバイアス/分散トレードオフを示すため、柔軟である。
  論文  参考訳（メタデータ） (2023-05-31T16:54:25Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)
• Distributed Sketching Methods for Privacy Preserving Regression [54.51566432934556]
  ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。 従来のスケッチ手法に対する新しい近似保証を導出し、分散スケッチにおけるパラメータ平均化の精度を解析する。 大規模実験によるサーバレスコンピューティングプラットフォームにおける分散スケッチのパフォーマンスについて説明する。
  論文  参考訳（メタデータ） (2020-02-16T08:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。