論文の概要: NMINE: Normalized Mutual Information Neural Estimation

• arxiv url: http://arxiv.org/abs/2607.27710v1
• Date: Thu, 30 Jul 2026 05:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.407715
• Title: NMINE: Normalized Mutual Information Neural Estimation
• Title（参考訳）: NMINE: 正規化された相互情報ニューラル推定
• Authors: Petra Eerikinharju, Marko Tuononen, Ville Hautamäki,
• Abstract要約: 連続変数に対する完全ニューラル正規化相互情報推定器を提案する。 相互情報をDonsker-Varadhan表現を用いて推定し,各辺分布と一様基準分布とのばらつきを学習することにより辺縁エントロピーを推定する。 1次元から8次元のガウスデータの実験により、提案手法はKSGに基づく正規化相互情報ベースラインよりも精度を向上することを示した。
• 参考スコア（独自算出の注目度）: 7.18961038438762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutual information is a general measure of statistical dependence that captures both linear and nonlinear relationships between random variables. For continuous and multidimensional variables For continuous multidimensional variables, mutual information must be estimated from samples. Because mutual information is unbounded, its values are not directly comparable across datasets, dimensions, or applications. Normalized mutual information addresses this limitation by converting mutual information into a normalized dependency score. Recent work has demonstrated the practical value of normalized mutual information in applications such as molecular dynamics {arXiv:2405.04980} and interpretable machine learning {arXiv:2409.16768}, but existing estimators remain sensitive to dimensionality and numerical stability {arXiv:2410.07642}. In this paper, we propose a fully neural normalized mutual information estimator for continuous variables. The proposed approach combines a MINE-based neural mutual information estimator {arXiv:1801.04062} with MI-NEE-inspired neural marginal entropy estimators {arXiv:1905.12957}. Mutual information is estimated using the Donsker--Varadhan representation, while marginal entropies are estimated by learning the divergence between each marginal distribution and a uniform reference distribution, from which entropy is recovered. The resulting estimator provides a neural alternative to k-nearest-neighbor-based normalized mutual information estimation {arXiv:2405.04980}. Experiments on Gaussian data from one to eight dimensions show that the proposed estimator improves accuracy over a KSG-based normalized mutual information baseline. These results indicate that neural estimation is a promising direction for normalized dependency measurement in continuous multidimensional settings.
• Abstract（参考訳）: 相互情報は、確率変数間の線形関係と非線形関係の両方をキャプチャする統計依存の一般的な尺度である。 連続および多次元変数 連続多次元変数の場合、相互情報はサンプルから推定されなければならない。 相互情報は非バウンドであるため、その値はデータセット、ディメンション、アプリケーション間で直接比較されない。 正規化された相互情報は、相互情報を正規化された依存スコアに変換することにより、この制限に対処する。 近年の研究では、分子動力学 {arXiv:2405.04980} や解釈可能な機械学習 {arXiv:2409.16768} などの応用における正規化相互情報の実用的価値が示されているが、既存の推定器は寸法や数値安定性 {arXiv:2410.07642} に敏感である。 本稿では,連続変数に対する完全ニューラル正規化相互情報推定器を提案する。 提案手法は、MI-NEEにインスパイアされた神経辺縁エントロピー推定器 {arXiv:1905.12957} とMINEベースの神経相互情報推定器 {arXiv:1801.04062} を組み合わせたものである。 相互情報をDonsker-Varadhan表現を用いて推定し,各辺分布とアントロピーが回復する一様基準分布とのばらつきを学習することにより辺縁エントロピーを推定する。 得られた推定器は、k-nearest-neighbor-based normalized mutual information estimation {arXiv:2405.04980} に対する神経的な代替を提供する。 1次元から8次元のガウスデータの実験により、提案手法はKSGに基づく正規化相互情報ベースラインよりも精度を向上することを示した。 これらの結果から,ニューラル推定は連続多次元環境における正規化依存度測定に有望な方向であることが示唆された。

関連論文リスト

• InfoAtlas: A Foundation Model for Zero-Shot Statistical Dependence Estimate [68.14572758582081]
  InfoAtlasは、反復最適化の必要性を排除する基礎的なモデルのようなアーキテクチャである。 さまざまな依存構造を特定し、データセットから直接MIを予測することを学ぶ。 実験の結果、InfoAtlasは最先端のニューラル推定器と精度で一致し、100倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-05-29T18:16:51Z)
• Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
  共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。 共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
  論文  参考訳（メタデータ） (2025-11-23T00:50:33Z)
• On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
  ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。 そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
  論文  参考訳（メタデータ） (2023-10-16T10:02:24Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
  そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。 本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-19T17:26:34Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)
• Parametric Copula-GP model for analyzing multidimensional neuronal and behavioral relationships [2.624902795082451]
  本研究では,各変数の統計を依存構造から分離するパラメトリックコプラモデルを提案する。 連続タスク関連変数に条件付きコプラパラメータにガウス過程(GP)を優先したベイズフレームワークを用いる。 本フレームワークは神経,感覚,行動データ間の複雑な多次元的関係の解析に特に有用である。
  論文  参考訳（メタデータ） (2020-08-03T16:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。