論文の概要: Mutual Information Multinomial Estimation

• arxiv url: http://arxiv.org/abs/2408.09377v1
• Date: Sun, 18 Aug 2024 06:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 20:59:59.079533
• Title: Mutual Information Multinomial Estimation
• Title（参考訳）: 相互情報多重パラメータ推定
• Authors: Yanzhi Chen, Zijing Ou, Adrian Weller, Yingzhen Li,
• Abstract要約: 相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
• 参考スコア（独自算出の注目度）: 53.58005108981247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating mutual information (MI) is a fundamental yet challenging task in data science and machine learning. This work proposes a new estimator for mutual information. Our main discovery is that a preliminary estimate of the data distribution can dramatically help estimate. This preliminary estimate serves as a bridge between the joint and the marginal distribution, and by comparing with this bridge distribution we can easily obtain the true difference between the joint distributions and the marginal distributions. Experiments on diverse tasks including non-Gaussian synthetic problems with known ground-truth and real-world applications demonstrate the advantages of our method.
• Abstract（参考訳）: 相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 本研究は,相互情報のための新しい推定器を提案する。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 この予備推定は関節分布と縁分布の間の橋梁として機能し、この橋梁分布と比較することにより、関節分布と縁分布の真の違いを容易に得ることができる。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Mutual Information Estimation via Normalizing Flows [39.58317527488534]
  本稿では,相互情報推定問題に対する新しいアプローチを提案する。 推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。 また、MI の既知閉形式表現を用いて対象分布を探索する。
  論文  参考訳（メタデータ） (2024-03-04T16:28:04Z)
• On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
  ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。 そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
  論文  参考訳（メタデータ） (2023-10-16T10:02:24Z)
• Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
  そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。 本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-19T17:26:34Z)
• On the Effectiveness of Hybrid Mutual Information Estimation [1.0312968200748118]
  共同分布からのサンプルからの相互情報を推定することは、科学と工学において難しい問題である。 本研究では,識別的アプローチと生成的アプローチの両方を一般化する変動境界を実現する。 予測量子化(PQ: Predictive Quantization)は,計算オーバーヘッドを最小限に抑えるために,識別的推定器と簡単に組み合わせることができる簡易な生成法である。
  論文  参考訳（メタデータ） (2023-06-01T12:26:07Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• High-Dimensional Multi-Task Averaging and Application to Kernel Mean Embedding [0.0]
  マルチタスク平均化問題に対する改善された推定器を提案する。 我々は、この手法が平均二乗誤差の低減をもたらすことを理論的に証明する。 このアプローチの応用は、複数のカーネルの平均埋め込みの推定である。
  論文  参考訳（メタデータ） (2020-11-13T07:31:30Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。