論文の概要: Binary perceptrons capacity via fully lifted random duality theory

• arxiv url: http://arxiv.org/abs/2312.00073v1
• Date: Wed, 29 Nov 2023 22:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 17:11:49.181718
• Title: Binary perceptrons capacity via fully lifted random duality theory
• Title（参考訳）: 完全解法ランダム双対性理論による二元パーセプトロン容量
• Authors: Mihailo Stojnic
• Abstract要約: 古典的二項パーセプトロンの統計容量を一般しきい値$kappa$で調べる。 我々は citeStojnicflrdt23 で確立された即時昇降ランダム双対性理論 (fl RDT) に頼り、パーセプトロンの能力を研究するための一般的な枠組みを作成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the statistical capacity of the classical binary perceptrons with general thresholds $\kappa$. After recognizing the connection between the capacity and the bilinearly indexed (bli) random processes, we utilize a recent progress in studying such processes to characterize the capacity. In particular, we rely on \emph{fully lifted} random duality theory (fl RDT) established in \cite{Stojnicflrdt23} to create a general framework for studying the perceptrons' capacities. Successful underlying numerical evaluations are required for the framework (and ultimately the entire fl RDT machinery) to become fully practically operational. We present results obtained in that directions and uncover that the capacity characterizations are achieved on the second (first non-trivial) level of \emph{stationarized} full lifting. The obtained results \emph{exactly} match the replica symmetry breaking predictions obtained through statistical physics replica methods in \cite{KraMez89}. Most notably, for the famous zero-threshold scenario, $\kappa=0$, we uncover the well known $\alpha\approx0.8330786$ scaled capacity.
• Abstract（参考訳）: 一般的なしきい値$\kappa$ を持つ古典二進受容器の統計容量について検討する。 キャパシティと双方向インデックス付き(bli)ランダムプロセスの関連性を認識した上で,このようなプロセスの研究の最近の進歩を利用してキャパシティを特徴づける。 特に、我々は \cite{Stojnicflrdt23} で確立された \emph{fully lifted} random duality theory (fl RDT) に頼り、知覚子の能力を研究するための一般的な枠組みを作る。 基礎となる数値的な評価は、フレームワーク(そして最終的にfl RDT機構全体)が完全に運用されるために必要である。 この方向から得られた結果から, キャパシティ特性が第2(第1(非自明な)レベルである \emph{stationarized} フルリフトで達成されることが判明した。 得られた結果のemph{exactly} は、統計物理学のレプリカ法で得られたレプリカ対称性の破れ予測と一致する。 最も注目すべきは、有名なゼロスレッショルドシナリオである$\kappa=0$に対して、よく知られた$\alpha\approx0.8330786$スケール容量を明らかにすることである。

関連論文リスト

• Injectivity capacity of ReLU gates [0.0]
  本稿ではReLUネットワーク層のインジェクティビティ特性について考察する。 我々は,$ell_0$の球面パーセプトロンと暗黙的にReLU層インジェクティビティを扱う強力なプログラムを開発する。 得られた結果は[40]からのレプリカ予測とかなりよく一致している。
  論文  参考訳（メタデータ） (2024-10-28T00:57:10Z)
• Exact capacity of the \emph{wide} hidden layer treelike neural networks with generic activations [0.0]
  Random Duality Theory (RDT) と Emphpartially lifted (pl RDT) は、非常に正確なネットワーク容量分析に使用できる強力なツールである。 本稿では, 広範囲に隠された層ネットワークを考察し, citeStojnictcmspnncapdiffactrdt23における数値的困難の特定の側面が奇跡的に消失していることを明らかにする。
  論文  参考訳（メタデータ） (2024-02-08T14:50:07Z)
• Fixed width treelike neural networks capacity analysis -- generic activations [0.0]
  本稿では,Emphtreelike Committee Machine (TCM) ニューラルネットワークの能力について考察する。 citeStojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23のフレームワークは、そのようなシナリオの処理を可能にするのに十分強力であることを示す。
  論文  参考訳（メタデータ） (2024-02-08T14:19:29Z)
• Fl RDT based ultimate lowering of the negative spherical perceptron capacity [0.0]
  古典的な球面パーセプトロンを考察し,その能力について検討する。 まず, 球面パーセプトロンをfl RDTのフレームに装着し, キャパシティを特徴付けるために全fl RDT機構を用いることを示す。
  論文  参考訳（メタデータ） (2023-12-27T11:23:40Z)
• Capacity of the treelike sign perceptrons neural networks with one hidden layer -- RDT based upper bounds [0.0]
  エンファンサイン知覚神経ネットワーク(SPNN)の能力について検討する。 我々は,TCM (1-hidden Layer Emphtreelike Committee Machine) アーキテクチャに注目した。
  論文  参考訳（メタデータ） (2023-12-13T16:06:18Z)
• Spectral chaos bounds from scaling theory of maximally efficient quantum-dynamical scrambling [49.1574468325115]
  複雑な量子系のエルゴード定常状態への進化に関する重要な予想は、スクランブルとして知られるこの過程が最も効率的であるときに普遍的な特徴を取得することである。 このシナリオでは、完全なスクランブルダイナミクスに沿ったスペクトル相関の正確な自己相似性を具現化して、スペクトル統計量に対する単一パラメータスケーリング理論を開発する。 スケーリング予測は特権プロセスで一致し、他の動的スクランブルシナリオのバウンダリとして機能し、すべてのタイムスケールで非効率または不完全なスクランブルを定量化できるようにする。
  論文  参考訳（メタデータ） (2023-10-17T15:41:50Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。