論文の概要: Measuring Dependence with Matrix-based Entropy Functional

• arxiv url: http://arxiv.org/abs/2101.10160v1
• Date: Mon, 25 Jan 2021 15:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:14:52.573385
• Title: Measuring Dependence with Matrix-based Entropy Functional
• Title（参考訳）: 行列型エントロピー関数による測定依存性
• Authors: Shujian Yu, Francesco Alesiani, Xi Yu, Robert Jenssen, Jose C. Principe
• Abstract要約: データの依存度を測定することは、統計と機械学習の中心的な役割を担います。 行列ベース正規化総相関(T_alpha*$)と行列ベース正規化双対総相関(D_alpha*$)の2つの尺度を提案する。 我々の尺度は微分可能かつ統計的に一般的なものよりも強力であることを示す。
• 参考スコア（独自算出の注目度）: 21.713076360132195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring the dependence of data plays a central role in statistics and machine learning. In this work, we summarize and generalize the main idea of existing information-theoretic dependence measures into a higher-level perspective by the Shearer's inequality. Based on our generalization, we then propose two measures, namely the matrix-based normalized total correlation ($T_\alpha^*$) and the matrix-based normalized dual total correlation ($D_\alpha^*$), to quantify the dependence of multiple variables in arbitrary dimensional space, without explicit estimation of the underlying data distributions. We show that our measures are differentiable and statistically more powerful than prevalent ones. We also show the impact of our measures in four different machine learning problems, namely the gene regulatory network inference, the robust machine learning under covariate shift and non-Gaussian noises, the subspace outlier detection, and the understanding of the learning dynamics of convolutional neural networks (CNNs), to demonstrate their utilities, advantages, as well as implications to those problems. Code of our dependence measure is available at: https://bit.ly/AAAI-dependence
• Abstract（参考訳）: データの依存度を測定することは、統計と機械学習の中心的な役割を担います。 本研究では,既存の情報理論依存対策の主な考え方を,シャーラーの不等式による高レベルな視点に要約し,一般化する。 この一般化に基づき,行列ベース正規化全相関(t_\alpha^*$)と行列ベース正規化双対全相関(d_\alpha^*$)の2つの尺度を提案し,基礎となるデータ分布を明示的に推定することなく任意の次元空間における複数の変数の依存性を定量化する。 我々の尺度は微分可能かつ統計的に一般的なものよりも強力であることを示す。 また、遺伝子制御ネットワーク推論、共変量シフトおよび非ガウス雑音下での頑健な機械学習、部分空間外乱検出、および畳み込みニューラルネットワーク(CNN)の学習ダイナミクスの理解など、4つの異なる機械学習問題に対する我々の対策の効果を示し、それらの実用性、利点、およびそれらの問題への示唆を示す。 依存度測定のコードはhttps://bit.ly/AAAI-dependenceで入手できます。

関連論文リスト

• Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra [0.0]
  ニューラルスケーリング法則は、深層ニューラルネットワークのパフォーマンスが、トレーニングデータサイズ、モデルの複雑さ、トレーニング時間などの重要な要因とどのようにスケールするかを記述する。 我々は, 統計力学の手法を用いて, 生徒-教員間の一パス勾配勾配を解析する。
  論文  参考訳（メタデータ） (2024-10-11T17:21:42Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive Noise Models [48.33685559041322]
  本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。 提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
  論文  参考訳（メタデータ） (2023-06-30T01:48:11Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Measuring Statistical Dependencies via Maximum Norm and Characteristic Functions [0.0]
  本稿では, 連接関数と積対角特性関数の差の最大ノルムに基づく統計的依存度尺度を提案する。 提案手法は、2つの異なる次元のランダムベクトル間の任意の統計的依存を検出することができる。 シミュレーションデータと実データの両方を用いて実験を行う。
  論文  参考訳（メタデータ） (2022-08-16T20:24:31Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)
• Causal learning with sufficient statistics: an information bottleneck approach [3.720546514089338]
  システムの変数間の条件不依存から因果情報を抽出する方法は一般的である。 我々は、システムの生成機構を規定する法則が、変数の生成関数方程式に具現化された部分構造をもたらすことが多いという事実に乗じる。 本稿では,次元削減に一般的に応用されるインフォメーション・ボトルネック法を用いて,基礎となる十分な統計量を求めることを提案する。
  論文  参考訳（メタデータ） (2020-10-12T00:20:01Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。