論文の概要: Diffeomorphic Information Neural Estimation

• arxiv url: http://arxiv.org/abs/2211.10856v1
• Date: Sun, 20 Nov 2022 03:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 23:30:53.001885
• Title: Diffeomorphic Information Neural Estimation
• Title（参考訳）: 微分型情報ニューラル推定
• Authors: Bao Duong and Thin Nguyen
• Abstract要約: Mutual Information (MI) と Conditional Mutual Information (CMI) は情報理論の多目的ツールである。 DINE (Diffomorphic Information Neural Estorimator) は連続確率変数のCMIを推定するための新しい手法である。 興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができることを示す。
• 参考スコア（独自算出の注目度）: 2.566492438263125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual Information (MI) and Conditional Mutual Information (CMI) are multi-purpose tools from information theory that are able to naturally measure the statistical dependencies between random variables, thus they are usually of central interest in several statistical and machine learning tasks, such as conditional independence testing and representation learning. However, estimating CMI, or even MI, is infamously challenging due the intractable formulation. In this study, we introduce DINE (Diffeomorphic Information Neural Estimator)-a novel approach for estimating CMI of continuous random variables, inspired by the invariance of CMI over diffeomorphic maps. We show that the variables of interest can be replaced with appropriate surrogates that follow simpler distributions, allowing the CMI to be efficiently evaluated via analytical solutions. Additionally, we demonstrate the quality of the proposed estimator in comparison with state-of-the-arts in three important tasks, including estimating MI, CMI, as well as its application in conditional independence testing. The empirical evaluations show that DINE consistently outperforms competitors in all tasks and is able to adapt very well to complex and high-dimensional relationships.
• Abstract（参考訳）: 相互情報(じゅつじゅつ、英: mutual information、mi)と条件付き相互情報(英: conditional mutual information、cmi)は、確率変数間の統計的依存関係を自然に測定できる情報理論の多目的ツールである。 しかし、CMIやMIを推定することは難解な定式化のために悪名高い。 本研究では,DINE(Diffomorphic Information Neural Estimator)を用いて連続確率変数のCMIを推定する手法を提案する。 興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができ、解析解を用いてCMIを効率的に評価できることを示す。 さらに,MI,CMI,および条件付き独立性試験への応用を含む3つの重要な課題において,提案手法と比較して,提案手法の品質を実証する。 経験的評価は、DINEが全てのタスクにおいて一貫して競合より優れており、複雑で高次元的な関係に非常によく適応できることを示している。

関連論文リスト

• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation [20.57104064155529]
  我々は,条件付き相互情報(CMI)推定を,その定式化をミニマックス最適化問題として利用して検討する。 提案した推定器は,様々なシミュレーションデータセットに対する既存手法よりも優れた推定値を提供する。 CMI推定の応用として、実データ上での条件付き独立テスト(CI)のための推定器をデプロイし、最先端のCIテスタよりも優れた結果を得る。
  論文  参考訳（メタデータ） (2020-05-17T11:22:12Z)
• TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions [0.0]
  総累積相互情報(TCMI)は相互依存の関連性の尺度である。 TCMIは、特徴集合の比較とランキングを容易にする非パラメトリックで堅牢で決定論的尺度である。
  論文  参考訳（メタデータ） (2020-01-30T08:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。