論文の概要: Capacity of the treelike sign perceptrons neural networks with one
hidden layer -- RDT based upper bounds
- arxiv url: http://arxiv.org/abs/2312.08244v1
- Date: Wed, 13 Dec 2023 16:06:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 14:47:20.242968
- Title: Capacity of the treelike sign perceptrons neural networks with one
hidden layer -- RDT based upper bounds
- Title（参考訳）: 木状標識の容量は1つの隠れ層を持つニューラルネットワークを知覚する -- RDT に基づく上界
- Authors: Mihailo Stojnic
- Abstract要約: エンファンサイン知覚神経ネットワーク(SPNN)の能力について検討する。
我々は,TCM (1-hidden Layer Emphtreelike Committee Machine) アーキテクチャに注目した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the capacity of \emph{sign} perceptrons neural networks (SPNN) and
particularly focus on 1-hidden layer \emph{treelike committee machine} (TCM)
architectures. Similarly to what happens in the case of a single perceptron
neuron, it turns out that, in a statistical sense, the capacity of a
corresponding multilayered network architecture consisting of multiple
\emph{sign} perceptrons also undergoes the so-called phase transition (PT)
phenomenon. This means: (i) for certain range of system parameters (size of
data, number of neurons), the network can be properly trained to accurately
memorize \emph{all} elements of the input dataset; and (ii) outside the region
such a training does not exist. Clearly, determining the corresponding phase
transition curve that separates these regions is an extraordinary task and
among the most fundamental questions related to the performance of any network.
Utilizing powerful mathematical engine called Random Duality Theory (RDT), we
establish a generic framework for determining the upper bounds on the 1-hidden
layer TCM SPNN capacity. Moreover, we do so for \emph{any} given (odd) number
of neurons. We further show that the obtained results \emph{exactly} match the
replica symmetry predictions of \cite{EKTVZ92,BHS92}, thereby proving that the
statistical physics based results are not only nice estimates but also
mathematically rigorous bounds as well. Moreover, for $d\leq 5$, we obtain the
capacity values that improve on the best known rigorous ones of
\cite{MitchDurb89}, thereby establishing a first, mathematically rigorous,
progress in well over 30 years.
- Abstract（参考訳）: 本稿では,ニューラルネットワーク(SPNN)の能力について検討し,特にTCMアーキテクチャに焦点をあてる。
単一パーセプトロンニューロンの場合と同様に、統計的には、複数の \emph{sign} パーセプトロンからなる対応する多層ネットワークアーキテクチャの容量も、いわゆる位相遷移(pt)現象の下にあることが分かる。
これが意味する。
i) 入力データセットの \emph{all} 要素を正確に記憶するために、特定のシステムパラメータ(データのサイズ、ニューロン数)に対して、ネットワークを適切に訓練することができる。
(二)そのような訓練は地域外にはない。
明らかに、これらの領域を分離する相転移曲線を決定することは異例の課題であり、ネットワークの性能に関する最も基本的な問題である。
ランダム双対性理論 (rdt) と呼ばれる強力な数学エンジンを用いて, 1-隠れ層 tcm spnn の上限を決定する汎用フレームワークを構築した。
さらに、ニューロンの数(odd)が与えられた 'emph{any} に対しても同様である。
さらに, 得られた結果は, \cite{ektvz92,bhs92} のレプリカ対称性予測と一致し, 統計物理学に基づく結果は, 優れた推定値だけでなく, 数学的に厳密な境界でもあることを証明した。
さらに、$d\leq 5$ の場合、最もよく知られた \cite{MitchDurb89} の厳密な値を改善するキャパシティ値を得る。
関連論文リスト
- Time Elastic Neural Networks [2.1756081703276]
時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。
古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。
トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
論文 参考訳（メタデータ） (2024-05-27T09:01:30Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - Fixed width treelike neural networks capacity analysis -- generic
activations [0.0]
本稿では,Emphtreelike Committee Machine (TCM) ニューラルネットワークの能力について考察する。
citeStojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23のフレームワークは、そのようなシナリオの処理を可能にするのに十分強力であることを示す。
論文 参考訳（メタデータ） (2024-02-08T14:19:29Z) - Memorization with neural nets: going beyond the worst case [5.662924503089369]
実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。
しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。
2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-30T10:06:05Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Coin Flipping Neural Networks [8.009932864430901]
ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。
我々は、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。
論文 参考訳（メタデータ） (2022-06-18T11:19:44Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳（メタデータ） (2021-12-30T10:27:08Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。