論文の概要: Rosenblatt's first theorem and frugality of deep learning
- arxiv url: http://arxiv.org/abs/2208.13778v1
- Date: Mon, 29 Aug 2022 09:44:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 12:32:58.643042
- Title: Rosenblatt's first theorem and frugality of deep learning
- Title（参考訳）: ローゼンブラットの最初の定理と深層学習の虚偽性
- Authors: A. N. Kirdin, S. V. Sidorov, N. Y. Zolotykh
- Abstract要約: 浅いネットワークの全零性に関するローゼンブラットの定理(英語版)は、初等パーセプトロンが訓練集合に相違がなければ任意の分類問題を解くことができることを述べる。
ミンスキーとパジェットは、神経入力に制限を課した初等パーセプトロンを、隠れた層における各ニューロンの結合数や受容野の比較的小さな直径とみなした。
このノートでは、最初のローゼンブラットの定理を実演し、初等パーセプトロンが旅行迷路問題を解く方法を示し、その解の複雑さを分析した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: First Rosenblatt's theorem about omnipotence of shallow networks states that
elementary perceptrons can solve any classification problem if there are no
discrepancies in the training set. Minsky and Papert considered elementary
perceptrons with restrictions on the neural inputs: a bounded number of
connections or a relatively small diameter of the receptive field for each
neuron at the hidden layer. They proved that under these constraints, an
elementary perceptron cannot solve some problems, such as the connectivity of
input images or the parity of pixels in them. In this note, we demonstrated
first Rosenblatt's theorem at work, showed how an elementary perceptron can
solve a version of the travel maze problem, and analysed the complexity of that
solution. We constructed also a deep network algorithm for the same problem. It
is much more efficient. The shallow network uses an exponentially large number
of neurons on the hidden layer (Rosenblatt's $A$-elements), whereas for the
deep network the second order polynomial complexity is sufficient. We
demonstrated that for the same complex problem deep network can be much smaller
and reveal a heuristic behind this effect.
- Abstract（参考訳）: 最初のローゼンブラットの浅層ネットワークの全能性に関する定理は、初等パーセプトロンがトレーニングセットにばらつきがなければどんな分類問題も解決できると述べている。
ミンスキーとパパートは、神経入力に制限のある初等的パーセプトロン、すなわち、隠れた層における各ニューロンの結合の有界数や受容野の相対的小径を検討した。
彼らはこれらの制約の下では、入力画像の接続やピクセルのパリティといったいくつかの問題を解決することはできないことを示した。
本稿では,最初のローゼンブラットの定理を実演し,初等パーセプトロンが旅行迷路の問題をいかに解くかを示し,その解の複雑さを分析した。
また,同じ問題に対してディープネットワークアルゴリズムを構築した。
それはずっと効率的です。
浅層ネットワークは隠れた層上に指数関数的に多数のニューロン(rosenblattの$a$-elements)を使用するが、深層ネットワークでは2次多項式の複雑性が十分である。
同じ複雑な問題に対して、ディープネットワークははるかに小さくなり、この効果の背後にあるヒューリスティックが明らかになることを実証した。
関連論文リスト
- On the Principles of ReLU Networks with One Hidden Layer [0.0]
バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。
理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
論文 参考訳（メタデータ） (2024-11-11T05:51:11Z) - Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。
この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
論文 参考訳（メタデータ） (2023-04-03T15:18:16Z) - From Compass and Ruler to Convolution and Nonlinearity: On the
Surprising Difficulty of Understanding a Simple CNN Solving a Simple
Geometric Estimation Task [6.230751621285322]
本稿では, 単純な畳み込みニューラルネットワークを用いて, 簡単な学習問題に対処することを提案する。
驚くべきことに、訓練されたネットワークが学んだことを理解することは難しく、ある程度は直感に反する。
論文 参考訳（メタデータ） (2023-03-12T11:30:49Z) - Reachability In Simple Neural Networks [2.7195102129095003]
NP-hardnessは、単純な仕様とニューラルネットワークの制限されたクラスをすでに保持していることを示す。
我々は、ニューラルネットワーク検証研究のこの方向の展開の可能性について、徹底的な議論と展望を行う。
論文 参考訳（メタデータ） (2022-03-15T14:25:44Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文 参考訳（メタデータ） (2021-01-18T15:40:27Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。
我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
論文 参考訳（メタデータ） (2020-05-31T21:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。