論文の概要: Information Theory Measures via Multidimensional Gaussianization
- arxiv url: http://arxiv.org/abs/2010.03807v2
- Date: Wed, 25 Nov 2020 10:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 11:31:57.601841
- Title: Information Theory Measures via Multidimensional Gaussianization
- Title(参考訳): 多次元ガウス化による情報理論対策
- Authors: Valero Laparra, J. Emmanuel Johnson, Gustau Camps-Valls, Raul
Santos-Rodr\'iguez, Jesus Malo
- Abstract要約: 情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
- 参考スコア(独自算出の注目度): 7.788961560607993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Information theory is an outstanding framework to measure uncertainty,
dependence and relevance in data and systems. It has several desirable
properties for real world applications: it naturally deals with multivariate
data, it can handle heterogeneous data types, and the measures can be
interpreted in physical units. However, it has not been adopted by a wider
audience because obtaining information from multidimensional data is a
challenging problem due to the curse of dimensionality. Here we propose an
indirect way of computing information based on a multivariate Gaussianization
transform. Our proposal mitigates the difficulty of multivariate density
estimation by reducing it to a composition of tractable (marginal) operations
and simple linear transformations, which can be interpreted as a particular
deep neural network. We introduce specific Gaussianization-based methodologies
to estimate total correlation, entropy, mutual information and Kullback-Leibler
divergence. We compare them to recent estimators showing the accuracy on
synthetic data generated from different multivariate distributions. We made the
tools and datasets publicly available to provide a test-bed to analyze future
methodologies. Results show that our proposal is superior to previous
estimators particularly in high-dimensional scenarios; and that it leads to
interesting insights in neuroscience, geoscience, computer vision, and machine
learning.
- Abstract(参考訳): 情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
自然に多変量データを扱うことができ、異種データ型を扱うことができ、測定値は物理単位で解釈できる。
しかし、多次元データから情報を取得することは次元性の呪いによる難題であるため、広くは採用されていない。
本稿では,多変量ガウス化変換に基づく情報を間接的に計算する方法を提案する。
本提案は,多変量密度推定の難しさを,特定の深層ニューラルネットワークとして解釈可能な,扱いやすい(マージナル)演算と単純な線形変換の組み合わせに還元することで軽減する。
本稿では,全相関,エントロピー,相互情報,kullback-leiblerの発散を推定するためのgaussianizationに基づく手法を提案する。
異なる多変量分布から生成された合成データの精度を示す最近の推定値と比較する。
将来の方法論を分析するテストベッドを提供するために、ツールとデータセットを公開しました。
その結果,提案手法は特に高次元シナリオにおいて従来の推定値よりも優れており,神経科学,地球科学,コンピュータビジョン,機械学習などの興味深い知見が得られた。
関連論文リスト
- You are out of context! [0.0]
新しいデータは、モデルによって学習された幾何学的関係を伸ばしたり、圧縮したり、ねじったりする力として振る舞うことができる。
本稿では,ベクトル空間表現における「変形」の概念に基づく機械学習モデルのための新しいドリフト検出手法を提案する。
論文 参考訳(メタデータ) (2024-11-04T10:17:43Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳(メタデータ) (2024-03-02T00:56:05Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Unsupervised Anomaly and Change Detection with Multivariate
Gaussianization [8.508880949780893]
データの高次元性を考えると、異常検出は難しい問題である。
本稿では,リモートセンシング画像の異常や変化を検出する教師なし手法を提案する。
異常検出と変化検出の両方を含む実験において,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-04-12T10:52:33Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Multimodal Data Fusion in High-Dimensional Heterogeneous Datasets via
Generative Models [16.436293069942312]
我々は、教師なしの方法で高次元異種データから確率的生成モデルを学習することに興味がある。
本稿では,指数関数的な分布系を通じて異なるデータ型を結合する一般的なフレームワークを提案する。
提案アルゴリズムは、実数値(ガウス)とカテゴリー(マルチノミカル)の特徴を持つ、よく遭遇する異種データセットについて詳細に述べる。
論文 参考訳(メタデータ) (2021-08-27T18:10:31Z) - Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。
分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
論文 参考訳(メタデータ) (2021-02-15T12:51:26Z) - Gaussianizing the Earth: Multidimensional Information Measures for Earth
Data Analysis [9.464720193746395]
情報理論は地球系データを解析するための優れた枠組みである。
これは不確実性と冗長性を特徴付けることができ、普遍的に解釈可能である。
様々な地球系データ解析問題において,情報理論の手法が適用可能であることを示す。
論文 参考訳(メタデータ) (2020-10-13T15:30:34Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳(メタデータ) (2020-09-01T15:08:23Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。