論文の概要: Max-Sliced Mutual Information

• arxiv url: http://arxiv.org/abs/2309.16200v1
• Date: Thu, 28 Sep 2023 06:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 15:48:11.445969
• Title: Max-Sliced Mutual Information
• Title（参考訳）: マックススライス相互情報
• Authors: Dor Tsur, Ziv Goldfeld and Kristjan Greenewald
• Abstract要約: 高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
• 参考スコア（独自算出の注目度）: 17.667315953598788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantifying the dependence between high-dimensional random variables is central to statistical learning and inference. Two classical methods are canonical correlation analysis (CCA), which identifies maximally correlated projected versions of the original variables, and Shannon's mutual information, which is a universal dependence measure that also captures high-order dependencies. However, CCA only accounts for linear dependence, which may be insufficient for certain applications, while mutual information is often infeasible to compute/estimate in high dimensions. This work proposes a middle ground in the form of a scalable information-theoretic generalization of CCA, termed max-sliced mutual information (mSMI). mSMI equals the maximal mutual information between low-dimensional projections of the high-dimensional variables, which reduces back to CCA in the Gaussian case. It enjoys the best of both worlds: capturing intricate dependencies in the data while being amenable to fast computation and scalable estimation from samples. We show that mSMI retains favorable structural properties of Shannon's mutual information, like variational forms and identification of independence. We then study statistical estimation of mSMI, propose an efficiently computable neural estimator, and couple it with formal non-asymptotic error bounds. We present experiments that demonstrate the utility of mSMI for several tasks, encompassing independence testing, multi-view representation learning, algorithmic fairness, and generative modeling. We observe that mSMI consistently outperforms competing methods with little-to-no computational overhead.
• Abstract（参考訳）: 高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析(CCA)であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は高次依存を捉える普遍的依存度である。 しかし、cca は線形依存のみを考慮し、これは特定の応用には不十分である可能性があり、相互情報はしばしば高次元での計算/評価には役に立たない。 本研究は,最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。 mSMI は高次元変数の低次元射影間の最大相互情報と等しく、ガウスの場合 CCA に還元される。 データの複雑な依存関係をキャプチャすると同時に、高速な計算やサンプルからのスケーラブルな見積もることができる。 我々はmSMIがシャノンの相互情報(変分形式や独立性の識別など)の良好な構造特性を保っていることを示す。 次に、mSMIの統計的推定を行い、効率よく計算可能な神経推定器を提案し、それを非漸近誤差境界と結合する。 本稿では,mSMIの独立性テスト,多視点表現学習,アルゴリズムフェアネス,生成モデルなど,様々なタスクに対する有用性を示す実験を行う。 我々はmSMIが計算オーバーヘッドが少なく競合する手法より一貫して優れていることを観察する。

関連論文リスト

• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• Trade-off Between Dependence and Complexity for Nonparametric Learning -- an Empirical Process Approach [10.27974860479791]
  データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。 標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。 長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
  論文  参考訳（メタデータ） (2024-01-17T05:08:37Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Diffeomorphic Information Neural Estimation [2.566492438263125]
  Mutual Information (MI) と Conditional Mutual Information (CMI) は情報理論の多目的ツールである。 DINE (Diffomorphic Information Neural Estorimator) は連続確率変数のCMIを推定するための新しい手法である。 興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-20T03:03:56Z)
• k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension [21.82863736290358]
  元のSMI定義を$k$-SMIに拡張し、射影を$k$-次元部分空間とする。 2-ワッサーシュタイン計量における微分エントロピーの連続性に関する新しい結果を用いて、モンテカルロ(MC)に基づく推定値の k$-SMI の誤差の鋭い境界を導出する。 次に、MC積分器とニューラルネットワーク推定フレームワークを組み合わせて、エンドツーエンドの$k$-SMI推定器を提供する。
  論文  参考訳（メタデータ） (2022-06-17T03:19:55Z)
• Coupled Support Tensor Machine Classification for Multimodal Neuroimaging Data [28.705764174771936]
  A Coupled Support Machine (C-STM) は、Advanced Coupled Matrix Factorization (ACMTF) から推定される潜在因子に基づいて構築される。 C-STMは、個別および共有潜在因子と複数のカーネルを結合し、結合行列テンソルデータに対する最大マージンを推定する。 C-STMの分類リスクは最適なベイズリスクに収束することが示され、統計的に一貫した規則となっている。
  論文  参考訳（メタデータ） (2022-01-19T16:13:09Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。