論文の概要: Learning from higher-order statistics, efficiently: hypothesis tests, random features, and neural networks
- arxiv url: http://arxiv.org/abs/2312.14922v3
- Date: Thu, 6 Jun 2024 16:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-08 00:10:18.249322
- Title: Learning from higher-order statistics, efficiently: hypothesis tests, random features, and neural networks
- Title（参考訳）: 高次統計学から学ぶ:仮説テスト、ランダム特徴、ニューラルネットワーク
- Authors: Eszter Székely, Lorenzo Bardone, Federica Gerace, Sebastian Goldt,
- Abstract要約: ニューラルネットワークが高次累積から特徴を抽出する際の効率について検討する。
ニューラルネットワークが2つの分布を2次サンプルの複雑さで区別することを実際に学習していることが示される。
その結果,ニューラルネットワークはスパイクされた累積モデルにおいて,高次相関から情報を効率的に抽出できることが示唆された。
- 参考スコア（独自算出の注目度）: 7.503293567983987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks excel at discovering statistical patterns in high-dimensional data sets. In practice, higher-order cumulants, which quantify the non-Gaussian correlations between three or more variables, are particularly important for the performance of neural networks. But how efficient are neural networks at extracting features from higher-order cumulants? We study this question in the spiked cumulant model, where the statistician needs to recover a privileged direction or "spike" from the order-$p\ge 4$ cumulants of $d$-dimensional inputs. Existing literature established the presence of a wide statistical-to-computational gap in this problem. We deepen this line of work by finding an exact formula for the likelihood ratio norm which proves that statistical distinguishability requires $n\gtrsim d$ samples, while distinguishing the two distributions in polynomial time requires $n \gtrsim d^2$ samples for a wide class of algorithms, i.e. those covered by the low-degree conjecture. Numerical experiments show that neural networks do indeed learn to distinguish the two distributions with quadratic sample complexity, while "lazy" methods like random features are not better than random guessing in this regime. Our results show that neural networks extract information from higher-ordercorrelations in the spiked cumulant model efficiently, and reveal a large gap in the amount of data required by neural networks and random features to learn from higher-order cumulants.
- Abstract（参考訳）: ニューラルネットワークは高次元データセットにおける統計的パターンの発見に優れる。
実際には、3つ以上の変数間の非ガウス的相関を定量化する高次累積は、ニューラルネットワークの性能において特に重要である。
しかし、高次累積から特徴を抽出するニューラルネットワークは、どの程度効率的か?
我々は,この問題をスパイク累積モデルを用いて検討する。そこで統計学者は,$d$次元入力の次数-$p\ge 4$累積から特権的な方向または「スパイク」を復元する必要がある。
既存の文献は、この問題に広範な統計と計算のギャップがあることを確立した。
統計微分可能性には$n\gtrsim d$サンプルが必要であることを証明し、多項式時間における2つの分布を区別するためには、幅広い種類のアルゴリズム、すなわち低次予想でカバーされるアルゴリズムに対して$n \gtrsim d^2$サンプルが必要である。
数値実験により、ニューラルネットワークは2つの分布を2次サンプルの複雑さで区別することを学ぶ一方で、ランダムな特徴のような「怠慢」な手法は、この状態におけるランダムな推測よりは良くないことが示された。
その結果, ニューラルネットワークは, 高次累積モデルにおける高次相関から効率的に情報を抽出し, 高次累積モデルから学習するために, ニューラルネットワークが必要とするデータ量とランダムな特徴の間に大きなギャップがあることが判明した。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。
この結果は2層ニューラルネットワークのシミュレーションで確認された。
論文 参考訳（メタデータ） (2024-04-12T17:01:25Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳（メタデータ） (2023-02-15T02:00:26Z) - Hierarchical autoregressive neural networks for statistical systems [0.05156484100374058]
我々は、例えばスピンのような物理的自由度の階層的な結合を、システムの線形範囲$L$のスケーリングに置き換えるニューロンに提案する。
我々は,2次元Isingモデルに対して,最大128×128$スピンの格子をシミュレートし,時間ベンチマークを512×512$の格子に到達させることで,その2次元Isingモデルに対するアプローチを実証した。
論文 参考訳（メタデータ） (2022-03-21T13:55:53Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。