論文の概要: \emph{Lifted} RDT based capacity analysis of the 1-hidden layer treelike
\emph{sign} perceptrons neural networks
- arxiv url: http://arxiv.org/abs/2312.08257v1
- Date: Wed, 13 Dec 2023 16:19:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 14:49:25.713805
- Title: \emph{Lifted} RDT based capacity analysis of the 1-hidden layer treelike
\emph{sign} perceptrons neural networks
- Title（参考訳）: emph{lifted} rdtによる1-hidden layer treelike \emph{sign} perceptronsニューラルネットワークのキャパシティ解析
- Authors: Mihailo Stojnic
- Abstract要約: 多層型エンフサインパーセプトロンニューラルネット(SPNN)の機能について考察する。
citeStojnictcmspnncaprdt23で得られた最近の厳密なキャパシティ特性は、ネットワーク構成にニューロンを追加することが本当に有益であることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the memorization capabilities of multilayered \emph{sign}
perceptrons neural networks (SPNNs). A recent rigorous upper-bounding capacity
characterization, obtained in \cite{Stojnictcmspnncaprdt23} utilizing the
Random Duality Theory (RDT), demonstrated that adding neurons in a network
configuration may indeed be very beneficial. Moreover, for particular
\emph{treelike committee machines} (TCM) architectures with $d\leq 5$ neurons
in the hidden layer, \cite{Stojnictcmspnncaprdt23} made a very first
mathematically rigorous progress in over 30 years by lowering the previously
best known capacity bounds of \cite{MitchDurb89}. Here, we first establish that
the RDT bounds from \cite{Stojnictcmspnncaprdt23} scale as $\sim \sqrt{d}$ and
can not on their own \emph{universally} (over the entire range of $d$) beat the
best known $\sim \log(d)$ scaling of the bounds from \cite{MitchDurb89}. After
recognizing that the progress from \cite{Stojnictcmspnncaprdt23} is therefore
promising, but yet without a complete concretization, we then proceed by
considering the recently developed fully lifted RDT (fl RDT) as an alternative.
While the fl RDT is indeed a powerful juggernaut, it typically relies on heavy
numerical evaluations. To avoid such heavy numerics, we here focus on a
simplified, \emph{partially lifted}, variant and show that it allows for very
neat, closed form, analytical capacity characterizations. Moreover, we obtain
the concrete capacity bounds that \emph{universally} improve for \emph{any} $d$
over the best known ones of \cite{MitchDurb89}.
- Abstract（参考訳）: 本稿では,多層型 \emph{sign} Perceptrons Neural Network (SPNN) の記憶機能について考察する。
Random Duality Theory (RDT) を用いて \cite{Stojnictcmspnncaprdt23} で得られた最近の厳密な上界キャパシティ特性は、ネットワーク構成にニューロンを追加することが本当に有益であることを示した。
さらに、隠された層に$d\leq 5$のニューロンを持つ特定の \emph{treelike Committee Machine} (TCM) アーキテクチャに対して、 \cite{Stojnictcmspnncaprdt23} は、これまで最もよく知られた容量境界を下げることにより、30年以上で初めて数学的に厳密な進歩を行った。
ここでは、 RDT 境界が \cite{Stojnictcmspnncaprdt23} スケールから $\sim \sqrt{d}$ と定義され、($d$の全範囲にわたって) 自身の \emph{universally} では、最もよく知られた $\sim \log(d)$ のスケーリングを \cite{MitchDurb89} から行うことができない。
したがって、 \cite{Stojnictcmspnncaprdt23} の進行は有望であるが、完全な包括化がなければ、最近開発された完全持ち上げ RDT (fl RDT) を代替として検討する。
fl RDTは確かに強力なジャガーノートだが、通常は重い数値評価に依存している。
このような重い数値を避けるため、我々は単純化された変種である 'emph{partially lifted} に注目し、非常に巧妙でクローズドな形式、分析能力のキャラクタリゼーションを可能にすることを示す。
さらに、最もよく知られた \cite{MitchDurb89} 上の \emph{any} $d$ に対して \emph{universally} が改善する具体的な容量境界を得る。
関連論文リスト
- Exact capacity of the \emph{wide} hidden layer treelike neural networks
with generic activations [0.0]
Random Duality Theory (RDT) と Emphpartially lifted (pl RDT) は、非常に正確なネットワーク容量分析に使用できる強力なツールである。
本稿では, 広範囲に隠された層ネットワークを考察し, citeStojnictcmspnncapdiffactrdt23における数値的困難の特定の側面が奇跡的に消失していることを明らかにする。
論文 参考訳（メタデータ） (2024-02-08T14:50:07Z) - Fixed width treelike neural networks capacity analysis -- generic
activations [0.0]
本稿では,Emphtreelike Committee Machine (TCM) ニューラルネットワークの能力について考察する。
citeStojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23のフレームワークは、そのようなシナリオの処理を可能にするのに十分強力であることを示す。
論文 参考訳（メタデータ） (2024-02-08T14:19:29Z) - Fl RDT based ultimate lowering of the negative spherical perceptron
capacity [0.0]
古典的な球面パーセプトロンを考察し,その能力について検討する。
まず, 球面パーセプトロンをfl RDTのフレームに装着し, キャパシティを特徴付けるために全fl RDT機構を用いることを示す。
論文 参考訳（メタデータ） (2023-12-27T11:23:40Z) - Capacity of the treelike sign perceptrons neural networks with one
hidden layer -- RDT based upper bounds [0.0]
エンファンサイン知覚神経ネットワーク(SPNN)の能力について検討する。
我々は,TCM (1-hidden Layer Emphtreelike Committee Machine) アーキテクチャに注目した。
論文 参考訳（メタデータ） (2023-12-13T16:06:18Z) - When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。
また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
論文 参考訳（メタデータ） (2022-10-21T14:41:26Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。
このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文 参考訳（メタデータ） (2021-10-07T05:25:23Z) - An Exponential Improvement on the Memorization Capacity of Deep
Threshold Networks [40.489350374378645]
我々は$widetildemathcalO(e1/delta2+sqrtn)$ニューロンと$widetildemathcalO(fracddelta+n)$ウェイトが十分であることを証明した。
また、超平面を用いて球面上の$n$の点を分離する純粋に幾何学的な問題にニューラルネットワークを接続することで、新しい下界を証明した。
論文 参考訳（メタデータ） (2021-06-14T19:42:32Z) - Provable Robustness of Adversarial Training for Learning Halfspaces with
Noise [95.84614821570283]
ラベル雑音の存在下での敵対的ロバストなハーフスペースの特性を分析する。
我々の知る限りでは、これは敵の訓練がノイズの分類子を与えることを示す最初の研究である。
論文 参考訳（メタデータ） (2021-04-19T16:35:38Z) - Thresholded Lasso Bandit [70.17389393497125]
Thresholded Lasso banditは、報酬関数を定義するベクトルとスパースサポートを推定するアルゴリズムである。
一般には $mathcalO( log d + sqrtT )$ や $mathcalO( log d + sqrtT )$ としてスケールする非漸近的後悔の上界を確立する。
論文 参考訳（メタデータ） (2020-10-22T19:14:37Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。