論文の概要: k-Sliced Mutual Information: A Quantitative Study of Scalability with
Dimension
- arxiv url: http://arxiv.org/abs/2206.08526v1
- Date: Fri, 17 Jun 2022 03:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-21 03:54:54.605577
- Title: k-Sliced Mutual Information: A Quantitative Study of Scalability with
Dimension
- Title（参考訳）: k-Sliced Mutual Information:次元によるスケーラビリティの定量的研究
- Authors: Ziv Goldfeld, Kristjan Greenewald, Theshani Nuradha, Galen Reeves
- Abstract要約: 元のSMI定義を$k$-SMIに拡張し、射影を$k$-次元部分空間とする。
2-ワッサーシュタイン計量における微分エントロピーの連続性に関する新しい結果を用いて、モンテカルロ(MC)に基づく推定値の k$-SMI の誤差の鋭い境界を導出する。
次に、MC積分器とニューラルネットワーク推定フレームワークを組み合わせて、エンドツーエンドの$k$-SMI推定器を提供する。
- 参考スコア（独自算出の注目度）: 21.82863736290358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sliced mutual information (SMI) is defined as an average of mutual
information (MI) terms between one-dimensional random projections of the random
variables. It serves as a surrogate measure of dependence to classic MI that
preserves many of its properties but is more scalable to high dimensions.
However, a quantitative characterization of how SMI itself and estimation rates
thereof depend on the ambient dimension, which is crucial to the understanding
of scalability, remain obscure. This works extends the original SMI definition
to $k$-SMI, which considers projections to $k$-dimensional subspaces, and
provides a multifaceted account on its dependence on dimension. Using a new
result on the continuity of differential entropy in the 2-Wasserstein metric,
we derive sharp bounds on the error of Monte Carlo (MC)-based estimates of
$k$-SMI, with explicit dependence on $k$ and the ambient dimension, revealing
their interplay with the number of samples. We then combine the MC integrator
with the neural estimation framework to provide an end-to-end $k$-SMI
estimator, for which optimal convergence rates are established. We also explore
asymptotics of the population $k$-SMI as dimension grows, providing Gaussian
approximation results with a residual that decays under appropriate moment
bounds. Our theory is validated with numerical experiments and is applied to
sliced InfoGAN, which altogether provide a comprehensive quantitative account
of the scalability question of $k$-SMI, including SMI as a special case when
$k=1$.
- Abstract（参考訳）: スライスされた相互情報(SMI)は、ランダム変数の1次元ランダムプロジェクション間の相互情報(MI)平均として定義される。
古典的なMIへの依存の代用尺度として機能し、多くの特性を保存しているが、高次元に対してよりスケーラブルである。
しかしながら、smi自体とその推定率が、スケーラビリティを理解する上で重要な環境次元に依存するかの定量的な特徴は、いまだに不明である。
これは元の SMI の定義を $k$-SMI に拡張し、射影を $k$-次元部分空間とみなし、次元への依存に関する多面的な説明を提供する。
2-ワッサーシュタイン計量における微分エントロピーの連続性に関する新しい結果を用いて、モンテカルロ (MC) に基づく推定値 $k$-SMI の誤差の鋭い境界を導出する。
次に、MC積分器とニューラルネットワーク推定フレームワークを組み合わせて、最適収束率を確立するエンドツーエンドの$k$-SMI推定器を提供する。
また,次元が大きくなるにつれてk$-smiの集団の漸近性も探究し,ガウス近似の結果に適切なモーメント境界の下で崩壊する残差を与える。
本理論は数値実験により検証され,$k=1$の場合の特別ケースとしてSMIを含む,$k$-SMIのスケーラビリティ問題に関する包括的定量的な説明を提供するInfoGANに適用される。
関連論文リスト
- Anticoncentration and state design of random tensor networks [0.0]
結合次元がシステムサイズとスケールする量子ランダムテンソルネットワーク状態($N$)について検討する。
結合次元 $chi sim gamma N$ に対して、関連する重なり合う確率分布の先頭順序を決定し、ポーター・トーマス分布への収束を示す。
我々は、ランダムなプロジェクト・エンタングル・ペアステート(PEPS)を用いた二次元システムにこの分析を拡張します。
論文 参考訳（メタデータ） (2024-09-19T18:00:28Z) - Approximating mutual information of high-dimensional variables using learned representations [1.4218223473363274]
相互情報(英: Mutual Information、MI)は、科学全般に広く応用されている統計的依存の一般的な尺度である。
既存の手法では、MIを数十次元まで確実に推定できるが、十分なサンプルサイズが実現不可能な高次元では失敗する。
我々は,理論上動機付けされたモデルアーキテクチャで学習した低次元表現に対して,非MI推定器を適用した潜在MI(LMI)近似を開発した。
論文 参考訳（メタデータ） (2024-09-03T16:36:42Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳（メタデータ） (2023-09-28T06:49:25Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Machine learning for structure-property relationships: Scalability and
limitations [3.664479980617018]
本稿では,多体システムの集中特性,特に分類フェーズを予測するためのスケーラブル機械学習(ML)フレームワークを提案する。
局所性仮定に基づいて,有限サイズのブロックの集中特性の予測のためにMLモデルを開発した。
本手法の適用性は,MLモデルのブロックサイズがシステムの特徴的長さスケールよりも大きいかどうかに依存する。
論文 参考訳（メタデータ） (2023-04-11T21:17:28Z) - Mutual Wasserstein Discrepancy Minimization for Sequential
Recommendation [82.0801585843835]
逐次リコメンデーションのためのMutual WasserStein差分最小化MSteinに基づく新しい自己教師型学習フレームワークを提案する。
また,ワッサーシュタイン離散度測定に基づく新しい学習損失を提案する。
論文 参考訳（メタデータ） (2023-01-28T13:38:48Z) - A robust estimator of mutual information for deep learning
interpretability [2.574652392763709]
本稿では,離散的かつ連続的な設定にも適用可能なアルゴリズムGMM-MIを提案する。
我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証する。
次に、表現学習の文脈におけるMI推定器の使用例を示す。
論文 参考訳（メタデータ） (2022-10-31T18:00:02Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - LIFE: Learning Individual Features for Multivariate Time Series
Prediction with Missing Values [71.52335136040664]
本稿では,MTS予測のための新しいパラダイムを提供する学習個人特徴(LIFE)フレームワークを提案する。
LIFEは、相関次元を補助情報として使用し、非相関次元からの干渉を欠落値で抑制することにより、予測のための信頼性の高い特徴を生成する。
3つの実世界のデータセットの実験は、既存の最先端モデルに対するLIFEの優位性を検証する。
論文 参考訳（メタデータ） (2021-09-30T04:53:24Z) - Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
非パラメトリックリッジレス最小二乗の学習特性について検討する。
スケール依存カーネルで定義される推定器の一般的な場合を考える。
論文 参考訳（メタデータ） (2020-06-17T16:43:37Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。