Fugu-MT 論文翻訳(概要): On neural network kernels and the storage capacity problem

論文の概要: On neural network kernels and the storage capacity problem

arxiv url: http://arxiv.org/abs/2201.04669v1
Date: Wed, 12 Jan 2022 19:47:30 GMT
ステータス: 処理完了
システム内更新日: 2022-01-14 15:14:00.959991
Title: On neural network kernels and the storage capacity problem
Title（参考訳）: ニューラルネットワークカーネルと記憶容量問題について
Authors: Jacob A. Zavatone-Veth and Cengiz Pehlevan
Abstract要約: 広層木状ニューラルネットワークにおける記憶容量問題と,広層ニューラルネットワークのカーネル限界に関する文献の急速な発展との間にある関係を整理する。
参考スコア（独自算出の注目度）: 16.244541005112747
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this short note, we reify the connection between work on the storage capacity problem in wide two-layer treelike neural networks and the rapidly-growing body of literature on kernel limits of wide neural networks. Concretely, we observe that the "effective order parameter" studied in the statistical mechanics literature is exactly equivalent to the infinite-width Neural Network Gaussian Process Kernel. This correspondence connects the expressivity and trainability of wide two-layer neural networks.
Abstract（参考訳）: 本稿では,広層木状ニューラルネットワークにおける記憶容量問題と,広層ニューラルネットワークのカーネル限界に関する文献群との関係について再検討する。具体的には、統計力学の文献で研究されている「効率的な順序パラメータ」は、無限幅ニューラルネットワークガウス過程カーネルと全く同じである。この対応は、幅広い2層ニューラルネットワークの表現性とトレーサビリティを接続する。

関連論文リスト

Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
論文参考訳（メタデータ） (2024-07-10T13:58:57Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
On the Equivalence between Implicit and Explicit Neural Networks: A High-dimensional Viewpoint [6.790383517643622]
暗黙のニューラルネットワークは様々なタスクで顕著な成功を収めた。暗黙的ネットワークと明示的ネットワークの接続と差異に関する理論的分析が欠如している。
論文参考訳（メタデータ） (2023-08-31T03:28:43Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文参考訳（メタデータ） (2022-10-14T19:31:39Z)
Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
論文参考訳（メタデータ） (2022-10-10T18:00:01Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文参考訳（メタデータ） (2021-04-18T19:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。