論文の概要: Linear approximability of two-layer neural networks: A comprehensive
analysis based on spectral decay
- arxiv url: http://arxiv.org/abs/2108.04964v1
- Date: Tue, 10 Aug 2021 23:30:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-12 13:38:55.797552
- Title: Linear approximability of two-layer neural networks: A comprehensive
analysis based on spectral decay
- Title（参考訳）: 2層ニューラルネットワークの線形近似性:スペクトル減衰に基づく包括的解析
- Authors: Jihao Long, Lei Wu
- Abstract要約: まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。
また,2層ニューラルネットワークについても同様の結果が得られた。
- 参考スコア（独自算出の注目度）: 4.042159113348107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a spectral-based approach to study the linear
approximation of two-layer neural networks. We first consider the case of
single neuron and show that the linear approximability, quantified by the
Kolmogorov width, is controlled by the eigenvalue decay of an associate kernel.
Then, we show that similar results also hold for two-layer neural networks.
This spectral-based approach allows us to obtain upper bounds, lower bounds,
and explicit hard examples in a united manner. In particular, these bounds
imply that for networks activated by smooth functions, restricting the norms of
inner-layer weights may significantly impair the expressiveness. By contrast,
for non-smooth activation functions, such as ReLU, the network expressiveness
is independent of the inner-layer weight norms. In addition, we prove that for
a family of non-smooth activation functions, including ReLU, approximating any
single neuron with random features suffers from the \emph{curse of
dimensionality}. This provides an explicit separation of expressiveness between
neural networks and random feature models.
- Abstract（参考訳）: 本稿では,2層ニューラルネットワークの線形近似をスペクトルベースで研究する。
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。
そして、同様の結果が2層ニューラルネットワークにも当てはまることを示す。
このスペクトルに基づくアプローチにより、上界、下界、および明示的な硬実例を統一的に得ることができる。
特に、これらの境界は滑らかな関数によって活性化されるネットワークに対して、内層重みのノルムを制限することは表現性を著しく損なう可能性を示唆している。
対照的に、ReLUのような非滑らかな活性化関数では、ネットワーク表現性は内層重みノルムとは独立である。
さらに、reluを含む非スムース活性化関数の族に対して、ランダムな特徴を持つ任意のニューロンを近似させることは、次元の補題である \emph{curse} に苦しむことを証明する。
これにより、ニューラルネットワークとランダム特徴モデル間の表現性が明確に分離される。
関連論文リスト
- Shallow ReLU neural networks and finite elements [1.3597551064547502]
凸ポリトープメッシュ上の一方向線形関数は、弱い意味で2層ReLUニューラルネットワークで表現できることを示す。
弱い表現に必要な2つの隠れた層のニューロンの数は、このメッシュに関わるポリトープと超平面の数に基づいて正確に与えられる。
論文 参考訳（メタデータ） (2024-03-09T06:12:06Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with
Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。
平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文 参考訳（メタデータ） (2022-05-19T21:05:40Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。
我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。
本分析に基づき,損失関数が二重降下に与える影響について検討した。
論文 参考訳（メタデータ） (2022-03-14T17:39:49Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。
2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文 参考訳（メタデータ） (2021-04-18T19:30:45Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z) - A function space analysis of finite neural networks with insights from
sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。
入力が帯域制限の仮定の下では、新しいエラー境界を提供する。
前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文 参考訳（メタデータ） (2020-04-15T10:25:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。