論文の概要: Learning from higher-order statistics, efficiently: hypothesis tests,
random features, and neural networks
- arxiv url: http://arxiv.org/abs/2312.14922v2
- Date: Mon, 19 Feb 2024 16:57:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 03:56:14.959154
- Title: Learning from higher-order statistics, efficiently: hypothesis tests,
random features, and neural networks
- Title（参考訳）: 高次統計から効率的に学ぶ:仮説テスト、ランダム特徴、ニューラルネットワーク
- Authors: Eszter Sz\'ekely, Lorenzo Bardone, Federica Gerace, Sebastian Goldt
- Abstract要約: ニューラルネットワークが高次累積から特徴を抽出する際の効率について検討する。
その結果,ニューラルネットワークはスパイク累積モデルにおいて,高次相関から情報を効率的に抽出できることが示唆された。
- 参考スコア（独自算出の注目度）: 8.196809190087832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks excel at discovering statistical patterns in high-dimensional
data sets. In practice, higher-order cumulants, which quantify the non-Gaussian
correlations between three or more variables, are particularly important for
the performance of neural networks. But how efficient are neural networks at
extracting features from higher-order cumulants? We study this question in the
spiked cumulant model, where the statistician needs to recover a privileged
direction or "spike" from the order-$p\ge 4$ cumulants of $d$-dimensional
inputs. We first characterise the fundamental statistical and computational
limits of recovering the spike by analysing the number of samples $n$ required
to strongly distinguish between inputs from the spiked cumulant model and
isotropic Gaussian inputs. We find that statistical distinguishability requires
$n\gtrsim d$ samples, while distinguishing the two distributions in polynomial
time requires $n \gtrsim d^2$ samples for a wide class of algorithms, i.e.
those covered by the low-degree conjecture. These results suggest the existence
of a wide statistical-to-computational gap in this problem. Numerical
experiments show that neural networks learn to distinguish the two
distributions with quadratic sample complexity, while "lazy" methods like
random features are not better than random guessing in this regime. Our results
show that neural networks extract information from higher-order correlations in
the spiked cumulant model efficiently, and reveal a large gap in the amount of
data required by neural networks and random features to learn from higher-order
cumulants.
- Abstract（参考訳）: ニューラルネットワークは高次元データセットにおける統計的パターンの発見に優れる。
実際、3つ以上の変数間の非ガウス相関を定量化する高次累積は、ニューラルネットワークの性能にとって特に重要である。
しかし、高次累積から特徴を抽出するニューラルネットワークはどの程度効率的か?
この質問をスパイク累積モデル(英語版)で研究し、統計学者はd$-次元入力のオーダー-p\ge 4$ cumulantから特権的な方向や「スパイク」を回復する必要がある。
まず,スパイク累積モデルからの入力と等方性ガウス入力の区別に要するサンプル数を解析することにより,スパイク回復の基本統計と計算限界を特徴付ける。
統計的微分可能性には$n\gtrsim d$サンプルが必要であるのに対し、多項式時間における2つの分布を区別するには、幅広い種類のアルゴリズム、すなわち低次予想でカバーされているものに対して$n \gtrsim d^2$サンプルが必要である。
これらの結果は,この問題に広く統計学と計算学のギャップが存在することを示唆している。
数値実験により、ニューラルネットワークは2つの分布を二次的なサンプル複雑性で区別することを学び、ランダムな特徴のような"怠慢"な手法は、この方法でのランダムな推測よりも優れていることが示されている。
その結果、ニューラルネットワークはスパイク累積モデルにおける高次相関から情報を効率的に抽出し、ニューラルネットワークが必要とするデータ量と高次累積モデルから学習するためのランダム特徴のギャップを明らかにする。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。
この結果は2層ニューラルネットワークのシミュレーションで確認された。
論文 参考訳（メタデータ） (2024-04-12T17:01:25Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳（メタデータ） (2023-02-15T02:00:26Z) - Hierarchical autoregressive neural networks for statistical systems [0.05156484100374058]
我々は、例えばスピンのような物理的自由度の階層的な結合を、システムの線形範囲$L$のスケーリングに置き換えるニューロンに提案する。
我々は,2次元Isingモデルに対して,最大128×128$スピンの格子をシミュレートし,時間ベンチマークを512×512$の格子に到達させることで,その2次元Isingモデルに対するアプローチを実証した。
論文 参考訳（メタデータ） (2022-03-21T13:55:53Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。