論文の概要: Robust and Fast Measure of Information via Low-rank Representation
- arxiv url: http://arxiv.org/abs/2211.16784v1
- Date: Wed, 30 Nov 2022 06:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 18:26:33.841849
- Title: Robust and Fast Measure of Information via Low-rank Representation
- Title（参考訳）: 低ランク表現による情報のロバストかつ高速測定
- Authors: Yuxin Dong and Tieliang Gong and Shujian Yu and Hong Chen and Chen Li
- Abstract要約: 我々は低ランク行列に基づくR'enyiのエントロピーと呼ばれる新しい情報尺度を提案する。
低ランク変種は、基底分布の変化によって引き起こされる情報的摂動に対してより敏感である。
我々は,この新たな情報尺度の有効性を評価するため,大規模な実験を行った。
- 参考スコア（独自算出の注目度）: 20.1194871649588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The matrix-based R\'enyi's entropy allows us to directly quantify information
measures from given data, without explicit estimation of the underlying
probability distribution. This intriguing property makes it widely applied in
statistical inference and machine learning tasks. However, this information
theoretical quantity is not robust against noise in the data, and is
computationally prohibitive in large-scale applications. To address these
issues, we propose a novel measure of information, termed low-rank matrix-based
R\'enyi's entropy, based on low-rank representations of infinitely divisible
kernel matrices. The proposed entropy functional inherits the specialty of of
the original definition to directly quantify information from data, but enjoys
additional advantages including robustness and effective calculation.
Specifically, our low-rank variant is more sensitive to informative
perturbations induced by changes in underlying distributions, while being
insensitive to uninformative ones caused by noises. Moreover, low-rank
R\'enyi's entropy can be efficiently approximated by random projection and
Lanczos iteration techniques, reducing the overall complexity from
$\mathcal{O}(n^3)$ to $\mathcal{O}(n^2 s)$ or even $\mathcal{O}(ns^2)$, where
$n$ is the number of data samples and $s \ll n$. We conduct large-scale
experiments to evaluate the effectiveness of this new information measure,
demonstrating superior results compared to matrix-based R\'enyi's entropy in
terms of both performance and computational efficiency.
- Abstract（参考訳）: 行列に基づく r\'enyi のエントロピーは、基礎となる確率分布を明示的に見積もることなく、与えられたデータから情報測度を直接定量化することができる。
この興味深い性質は、統計推論や機械学習タスクに広く応用される。
しかし、この情報理論量はデータのノイズに対して堅牢ではなく、大規模アプリケーションでは計算が禁じられている。
これらの問題に対処するために、無限可除なカーネル行列の低ランク表現に基づいて、低ランク行列に基づくR\'enyiのエントロピーと呼ばれる新しい情報尺度を提案する。
提案するエントロピー関数は、データから情報を直接定量化するために元の定義の特殊性を継承するが、頑健性や効果的な計算などの利点を享受する。
特に,低ランクの変種は,騒音による非定型的な変質に敏感である一方で,下位分布の変化による情報的摂動に敏感である。
さらに、ローランク R\'enyi のエントロピーはランダム射影法やランツォス反復法によって効率的に近似することができ、全体的な複雑さを $\mathcal{O}(n^3)$ から $\mathcal{O}(n^2 s)$ あるいは $\mathcal{O}(ns^2)$ に還元することができる。
我々は,この新たな情報尺度の有効性を評価するために大規模な実験を行い,行列ベースのR'enyiエントロピーと比較して,性能と計算効率の両面で優れた結果を示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Distributed Semi-Supervised Sparse Statistical Inference [6.685997976921953]
縮退推定器は高次元モデルパラメータの統計的推測において重要なツールである。
従来の手法では、すべてのマシンで偏りのある推定器を計算する必要がある。
ラベル付きデータと非ラベル付きデータを統合した効率的なマルチラウンド分散脱バイアス推定器を開発した。
論文 参考訳（メタデータ） (2023-06-17T17:30:43Z) - High-Dimensional Smoothed Entropy Estimation via Dimensionality
Reduction [14.53979700025531]
微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。
絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。
我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
論文 参考訳（メタデータ） (2023-05-08T13:51:48Z) - Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Noisy Nonnegative Tucker Decomposition with Sparse Factors and Missing Data [28.226817588482565]
本研究では, 雑音下での非負データ回復のための, スパース非負のタッカー分解と補修法を提案する。
我々の理論結果は既存のテンソル法や行列法よりも優れている。
論文 参考訳（メタデータ） (2022-08-17T13:29:14Z) - Optimal Randomized Approximations for Matrix based Renyi's Entropy [16.651155375441796]
整数次数$alpha$の場合のランダム近似と非整数$alpha$の場合の直列近似を開発する。
大規模シミュレーションと実世界の応用は、開発した近似の有効性を検証する。
論文 参考訳（メタデータ） (2022-05-16T02:24:52Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳（メタデータ） (2022-01-28T12:00:31Z) - Computationally Efficient Approximations for Matrix-based Renyi's
Entropy [33.72108955447222]
最近開発された行列ベースのRenyiのエントロピーは、データ内の情報の計測を可能にする。
そのような量の計算には、PSD行列の$G$上のトレース演算子を$alpha$(つまり$tr(Galpha)$)の電力とする。
我々は、この新しいエントロピー汎函数に対する計算学的に効率的な近似を示し、その複雑性を$O(n2)$よりもはるかに小さくすることができる。
論文 参考訳（メタデータ） (2021-12-27T14:59:52Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳（メタデータ） (2020-09-15T22:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。