論文の概要: Beyond Normal: On the Evaluation of Mutual Information Estimators
- arxiv url: http://arxiv.org/abs/2306.11078v1
- Date: Mon, 19 Jun 2023 17:26:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 16:50:02.443190
- Title: Beyond Normal: On the Evaluation of Mutual Information Estimators
- Title（参考訳）: 正常を超えて:相互情報推定器の評価について
- Authors: Pawe{\l} Czy\.z, Frederic Grabowski, Julia E. Vogt, Niko Beerenwinkel,
Alexander Marx
- Abstract要約: そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。
本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
- 参考スコア（独自算出の注目度）: 68.2376986874516
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Mutual information is a general statistical dependency measure which has
found applications in representation learning, causality, domain generalization
and computational biology. However, mutual information estimators are typically
evaluated on simple families of probability distributions, namely multivariate
normal distribution and selected distributions with one-dimensional random
variables. In this paper, we show how to construct a diverse family of
distributions with known ground-truth mutual information and propose a
language-independent benchmarking platform for mutual information estimators.
We discuss the general applicability and limitations of classical and neural
estimators in settings involving high dimensions, sparse interactions,
long-tailed distributions, and high mutual information. Finally, we provide
guidelines for practitioners on how to select appropriate estimator adapted to
the difficulty of problem considered and issues one needs to consider when
applying an estimator to a new data set.
- Abstract（参考訳）: 相互情報は、表現学習、因果関係、領域の一般化、計算生物学に応用されている一般的な統計的依存尺度である。
しかし、相互情報推定器は通常、多変量正規分布と1次元の確率変数を持つ選択分布の単純な族で評価される。
本稿では,既知の相互情報を含む多様な分布を構築する方法を示し,相互情報推定者のための言語に依存しないベンチマークプラットフォームを提案する。
本稿では,高次元,疎相互作用,長期分布,高相互情報を含む設定における古典的・神経的推定器の適用性と限界について論じる。
最後に,新たなデータセットに推定器を適用する際に考慮すべき問題や課題に適応した適切な推定器の選択方法について,実践者に対してガイドラインを提供する。
関連論文リスト
- Mutual Information Multinomial Estimation [53.58005108981247]
相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。
我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。
非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
論文 参考訳（メタデータ） (2024-08-18T06:27:30Z) - On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。
そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文 参考訳（メタデータ） (2023-10-16T10:02:24Z) - Gacs-Korner Common Information Variational Autoencoder [102.89011295243334]
本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を提案する。
画像やビデオなどの高次元データでも意味論的に意味のある共通要素や特徴要因を学習できることを実証する。
論文 参考訳（メタデータ） (2022-05-24T17:47:26Z) - Interaction Models and Generalized Score Matching for Compositional Data [9.797319790710713]
本稿では, 確率単純度をベースとして, 対の相互作用の一般的なパターンに対応する指数関数型モデルを提案する。
特別の場合として、ディリクレ分布の族や、アッチソンの加法的ロジスティック正規分布がある。
提案手法の高次元解析により, 従来研究されていた全次元領域と同様に, シンプル領域を効率的に処理できることが示唆された。
論文 参考訳（メタデータ） (2021-09-10T05:29:41Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳（メタデータ） (2021-02-25T19:06:48Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z) - Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。
本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
論文 参考訳（メタデータ） (2020-03-13T18:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。