論文の概要: Neural Networks Generalize on Low Complexity Data
- arxiv url: http://arxiv.org/abs/2409.12446v1
- Date: Tue, 29 Oct 2024 03:53:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 14:52:37.431569
- Title: Neural Networks Generalize on Low Complexity Data
- Title（参考訳）: 低複雑性データに基づくニューラルネットワークの一般化
- Authors: Sourav Chatterjee, Timothy Sudijono,
- Abstract要約: 本稿では、ReLUを活性化したフィードフォワードニューラルネットワークが、低複雑性データに基づいて一般化されていることを示す。
我々は、そのようなネットワークの記述長の概念とともに、この単純なプログラミング言語を定義する。
自然数の素性チェックなどの基本的な計算タスクの例を示す。
- 参考スコア（独自算出の注目度）: 5.678271181959529
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that feedforward neural networks with ReLU activation generalize on low complexity data, suitably defined. Given i.i.d. data generated from a simple programming language, the minimum description length (MDL) feedforward neural network which interpolates the data generalizes with high probability. We define this simple programming language, along with a notion of description length of such networks. We provide several examples on basic computational tasks, such as checking primality of a natural number, and more. For primality testing, our theorem shows the following. Suppose that we draw an i.i.d. sample of $\Theta(N^{\delta}\ln N)$ numbers uniformly at random from $1$ to $N$, where $\delta\in (0,1)$. For each number $x_i$, let $y_i = 1$ if $x_i$ is a prime and $0$ if it is not. Then with high probability, the MDL network fitted to this data accurately answers whether a newly drawn number between $1$ and $N$ is a prime or not, with test error $\leq O(N^{-\delta})$. Note that the network is not designed to detect primes; minimum description learning discovers a network which does so.
- Abstract（参考訳）: 本稿では、ReLUを活性化したフィードフォワードニューラルネットワークが、低複雑性データに基づいて一般化されていることを示す。
単純なプログラミング言語から生成されたi.d.データを考えると、データを補間する最小記述長(MDL)フィードフォワードニューラルネットワークは高い確率で一般化する。
我々は、そのようなネットワークの記述長の概念とともに、この単純なプログラミング言語を定義する。
自然数の素性チェックなど,基本的な計算処理の例をいくつか紹介する。
予備性テストでは、以下の定理を示す。
例えば、$\Theta(N^{\delta}\ln N)$のi.d.サンプルを、$\delta\in (0,1)$のとき、ランダムに$$$$から$N$まで均一に値する。
for each number $x_i$, let $y_i = 1$ if $x_i$ is a prime and $0$ if it is not。
そして高い確率で、このデータに適合するMDLネットワークは、新たに引かれた1ドルから$N$の間の数値が素数であるか否かを、テストエラー$\leq O(N^{-\delta})$で正確に答える。
ネットワークは素数を検出するように設計されていないことに注意してください。
関連論文リスト
- Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。
また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - On the Complexity of Neural Computation in Superposition [3.9803704378699103]
ニューラルネットワークの理解の最近の進歩は、重畳が大規模ネットワークの計算効率の根底にある重要なメカニズムであることを示唆している。
ペアワイズのような論理演算は、$O(sqrtm' log m')$ ニューロンと$O(m' log2 m')$パラメータで計算できる。
本研究は,ニューラルネットワークの解釈可能性研究における複雑性理論手法の活用の道を開くものである。
論文 参考訳（メタデータ） (2024-09-05T18:58:59Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Most Neural Networks Are Almost Learnable [52.40331776572531]
固定された$epsilon>0$とdeep $i$に対して、深さ$i$のランダムなXavierネットワークを学習するポリ時間アルゴリズムが存在することを示す。
このアルゴリズムは時間とサンプルの複雑さが$(bard)mathrmpoly(epsilon-1)$であり、$bar d$はネットワークのサイズである。
シグモイドやReLU様の活性化の場合、境界は$(bard)mathrmpolylog(eps)に改善できる。
論文 参考訳（メタデータ） (2023-05-25T22:27:42Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - On the Multidimensional Random Subset Sum Problem [0.9007371440329465]
確率変数 $X_1, ..., X_n$ が与えられたランダム部分集合 Sum 問題では、任意の点 $z in [-1,1]$ を部分集合 $X_i_1(z), ..., X_i_s(z)$ の和として近似したい。
我々は、$d$次元において、$n = O(d3log frac 1varepsilon cdot
論文 参考訳（メタデータ） (2022-07-28T08:10:43Z) - Learning (Very) Simple Generative Models Is Hard [45.13248517769758]
我々は,$mathbbRdtobbRd'$の出力座標が$mathrmpoly(d)$ニューロンを持つ一層ReLUネットワークである場合でも,リアルタイムアルゴリズムが問題を解決可能であることを示す。
我々の証明の鍵となる要素は、コンパクトに支持されたピースワイズ線形関数$f$をニューラルネットワークで束ねたスロープで構築することであり、$mathcalN(0,1)$のプッシュフォワードは$mathcalのすべての低度モーメントと一致する。
論文 参考訳（メタデータ） (2022-05-31T17:59:09Z) - On the Provable Generalization of Recurrent Neural Networks [7.115768009778412]
リカレントニューラルネットワーク(RNN)のトレーニングと一般化の分析
正規化条件を使わずに関数を学習する一般化誤差を証明した。
また、入力シーケンスのN-変数関数を学習するための新しい結果も証明する。
論文 参考訳（メタデータ） (2021-09-29T02:06:33Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。