論文の概要: Fl RDT based ultimate lowering of the negative spherical perceptron
capacity
- arxiv url: http://arxiv.org/abs/2312.16531v1
- Date: Wed, 27 Dec 2023 11:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:19:10.161522
- Title: Fl RDT based ultimate lowering of the negative spherical perceptron
capacity
- Title（参考訳）: Fl RDTによる負球面パーセプトロン容量の極小化
- Authors: Mihailo Stojnic
- Abstract要約: 古典的な球面パーセプトロンを考察し,その能力について検討する。
まず, 球面パーセプトロンをfl RDTのフレームに装着し, キャパシティを特徴付けるために全fl RDT機構を用いることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the classical \emph{spherical} perceptrons and study their
capacities. The famous zero-threshold case was solved in the sixties of the
last century (see, \cite{Wendel62,Winder,Cover65}) through the high-dimensional
combinatorial considerations. The general threshold, $\kappa$, case though
turned out to be much harder and stayed out of reach for the following several
decades. A substantial progress was then made in \cite{SchTir02} and
\cite{StojnicGardGen13} where the \emph{positive} threshold ($\kappa\geq 0$)
scenario was finally fully settled. While the negative counterpart ($\kappa\leq
0$) remained out of reach, \cite{StojnicGardGen13} did show that the random
duality theory (RDT) is still powerful enough to provide excellent upper
bounds. Moreover, in \cite{StojnicGardSphNeg13}, a \emph{partially lifted} RDT
variant was considered and it was shown that the upper bounds of
\cite{StojnicGardGen13} can be lowered. After recent breakthroughs in studying
bilinearly indexed (bli) random processes in
\cite{Stojnicsflgscompyx23,Stojnicnflgscompyx23}, \emph{fully lifted} random
duality theory (fl RDT) was developed in \cite{Stojnicflrdt23}. We here first
show that the \emph{negative spherical perceptrons} can be fitted into the
frame of the fl RDT and then employ the whole fl RDT machinery to characterize
the capacity. To be fully practically operational, the fl RDT requires a
substantial numerical work. We, however, uncover remarkable closed form
analytical relations among key lifting parameters. Such a discovery enables
performing the needed numerical calculations to obtain concrete capacity
values. We also observe that an excellent convergence (with the relative
improvement $\sim 0.1\%$) is achieved already on the third (second non-trivial)
level of the \emph{stationarized} full lifting.
- Abstract（参考訳）: 古典的な \emph{spherical} パーセプトロンを考察し、それらの能力を研究する。
有名なゼロスレッショルドのケースは、高次元の組合せ的考察を通じて、前世紀の60世紀に解決された(\cite{wendel62,winder,cover65} を参照)。
しかし、一般的なしきい値である$\kappa$のケースはずっと難しく、その後の数十年は手が届かなかった。
その後、大きな進歩が \cite{SchTir02} と \cite{StojnicGardGen13} で行われ、そこでは \emph{ positive} 閾値 (\kappa\geq 0$) のシナリオが最終的に完全に解決された。
負の対数 (\kappa\leq 0$) は届かなかったが、 \cite{StojnicGardGen13} は、ランダム双対性理論 (RDT) が優れた上限を与えるのに十分強力であることを示した。
さらに、 \cite{StojnicGardSphNeg13} において、 \emph{partially lifted} RDT 変種が検討され、 \cite{StojnicGardGen13} の上界を下げることができた。
近年のbilinearly indexed (bli) random process in \cite{stojnicsflgscompyx23,stojnicnflgscompyx23}, \emph{fully lifted} random duality theory (fl rdt) の研究は、 \cite{stojnicflrdt23} で展開された。
ここではまず, fl RDT のフレームに \emph{ negative spherical perceptrons} を装着し,そのキャパシティを特徴付けるために fl RDT 機構全体を用いることを示す。
完全に実用的に運用するには、fl RDTは相当な数値計算を必要とする。
しかし, キー持ち上げパラメータ間の有意な閉形式解析関係を明らかにする。
このような発見により、必要な数値計算を実行して具体的な容量値を得ることができる。
また、(相対的に改良された$\sim 0.1\%$を持つ)優れた収束は既に \emph{stationarized} の3番目の(非自明な)レベルにおいて達成されていることも観察する。
関連論文リスト
- Stochastic Gradient Succeeds for Bandits [64.17904367852563]
エンフィスト確率勾配帯域幅アルゴリズムは,O (1/t)$レートで,エンフィグロブな最適ポリシに収束することを示す。
興味深いことに、勾配帯域アルゴリズムのグローバル収束は以前に確立されていない。
論文 参考訳（メタデータ） (2024-02-27T06:05:01Z) - Exact capacity of the \emph{wide} hidden layer treelike neural networks
with generic activations [0.0]
Random Duality Theory (RDT) と Emphpartially lifted (pl RDT) は、非常に正確なネットワーク容量分析に使用できる強力なツールである。
本稿では, 広範囲に隠された層ネットワークを考察し, citeStojnictcmspnncapdiffactrdt23における数値的困難の特定の側面が奇跡的に消失していることを明らかにする。
論文 参考訳（メタデータ） (2024-02-08T14:50:07Z) - Fixed width treelike neural networks capacity analysis -- generic
activations [0.0]
本稿では,Emphtreelike Committee Machine (TCM) ニューラルネットワークの能力について考察する。
citeStojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23のフレームワークは、そのようなシナリオの処理を可能にするのに十分強力であることを示す。
論文 参考訳（メタデータ） (2024-02-08T14:19:29Z) - \emph{Lifted} RDT based capacity analysis of the 1-hidden layer treelike
\emph{sign} perceptrons neural networks [0.0]
多層型エンフサインパーセプトロンニューラルネット(SPNN)の機能について考察する。
citeStojnictcmspnncaprdt23で得られた最近の厳密なキャパシティ特性は、ネットワーク構成にニューロンを追加することが本当に有益であることを示した。
論文 参考訳（メタデータ） (2023-12-13T16:19:58Z) - Binary perceptrons capacity via fully lifted random duality theory [0.0]
古典的二項パーセプトロンの統計容量を一般しきい値$kappa$で調べる。
我々は citeStojnicflrdt23 で確立された即時昇降ランダム双対性理論 (fl RDT) に頼り、パーセプトロンの能力を研究するための一般的な枠組みを作成する。
論文 参考訳（メタデータ） (2023-11-29T22:22:32Z) - Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。
Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
論文 参考訳（メタデータ） (2023-02-02T18:59:30Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2021-02-09T02:44:24Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。