論文の概要: High-Dimensional Smoothed Entropy Estimation via Dimensionality
Reduction
- arxiv url: http://arxiv.org/abs/2305.04712v2
- Date: Thu, 11 May 2023 14:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 11:24:10.880708
- Title: High-Dimensional Smoothed Entropy Estimation via Dimensionality
Reduction
- Title（参考訳）: 次元化による高次元平滑エントロピー推定
- Authors: Kristjan Greenewald, Brian Kingsbury, Yuancheng Yu
- Abstract要約: 微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。
絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。
我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
- 参考スコア（独自算出の注目度）: 14.53979700025531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of overcoming exponential sample complexity in
differential entropy estimation under Gaussian convolutions. Specifically, we
consider the estimation of the differential entropy $h(X+Z)$ via $n$
independently and identically distributed samples of $X$, where $X$ and $Z$ are
independent $D$-dimensional random variables with $X$ sub-Gaussian with bounded
second moment and $Z\sim\mathcal{N}(0,\sigma^2I_D)$. Under the absolute-error
loss, the above problem has a parametric estimation rate of
$\frac{c^D}{\sqrt{n}}$, which is exponential in data dimension $D$ and often
problematic for applications. We overcome this exponential sample complexity by
projecting $X$ to a low-dimensional space via principal component analysis
(PCA) before the entropy estimation, and show that the asymptotic error
overhead vanishes as the unexplained variance of the PCA vanishes. This implies
near-optimal performance for inherently low-dimensional structures embedded in
high-dimensional spaces, including hidden-layer outputs of deep neural networks
(DNN), which can be used to estimate mutual information (MI) in DNNs. We
provide numerical results verifying the performance of our PCA approach on
Gaussian and spiral data. We also apply our method to analysis of information
flow through neural network layers (c.f. information bottleneck), with results
measuring mutual information in a noisy fully connected network and a noisy
convolutional neural network (CNN) for MNIST classification.
- Abstract（参考訳）: ガウス畳み込みの下での微分エントロピー推定における指数的サンプル複雑性を克服する問題について検討する。
具体的には、差分エントロピー$h(X+Z)$ via $n$と同一分布の$X$を推定し、$X$と$Z$は独立な$D$-次元確率変数であり、有界第二モーメントを持つ$X$と$Z\sim\mathcal{N}(0,\sigma^2I_D)$である。
絶対誤差損失の下では、上記の問題はパラメトリック推定レートが$\frac{c^D}{\sqrt{n}}$であり、これはデータ次元が$D$で、しばしばアプリケーションにとって問題となる。
エントロピー推定の前に、主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数関数的なサンプル複雑性を克服し、PCAの未説明分散が消えるにつれて漸近誤差オーバーヘッドが消滅することを示す。
これは、dnnにおける相互情報(mi)の推定に使用できるディープニューラルネットワーク(dnn)の隠れ層出力を含む、高次元空間に埋め込まれた本質的に低次元構造に対する最適化に近い性能を意味する。
ガウスおよびスパイラルデータに対するPCAアプローチの有効性を検証する数値結果を提供する。
また,提案手法をニューラルネットワーク層(c.f.情報ボトルネック)における情報フロー解析に適用し,雑音完全接続ネットワークと雑音畳み込みニューラルネットワーク(cnn)によるmnist分類における相互情報計測を行った。
関連論文リスト
- Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。
我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。
XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
論文 参考訳（メタデータ） (2024-10-13T21:49:29Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。
次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
論文 参考訳（メタデータ） (2024-04-18T17:57:53Z) - Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。
この結果は2層ニューラルネットワークのシミュレーションで確認された。
論文 参考訳（メタデータ） (2024-04-12T17:01:25Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳（メタデータ） (2023-09-25T07:31:22Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Higher Order Gauge Equivariant CNNs on Riemannian Manifolds and
Applications [7.322121417864824]
我々はゲージ同変畳み込み(GEVNet)と呼ばれるゲージ同変畳み込みの高次一般化を導入する。
これにより、空間的に拡張された非線形相互作用を、大域的等距離と等値性を維持しながら、与えられた場内でモデル化することができる。
神経画像データ実験では、結果として生じる2部構造を用いて、拡散磁気共鳴画像(dMRI)からLewy Body Disease(DLB)、Alzheimer's Disease(AD)、Parkinson's Disease(PD)を自動判別する。
論文 参考訳（メタデータ） (2023-05-26T06:02:31Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。