論文の概要: Finite Sample Identification of Wide Shallow Neural Networks with Biases
- arxiv url: http://arxiv.org/abs/2211.04589v1
- Date: Tue, 8 Nov 2022 22:10:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 16:20:03.742781
- Title: Finite Sample Identification of Wide Shallow Neural Networks with Biases
- Title（参考訳）: バイアスを有する広浅層ニューラルネットワークの有限サンプル同定
- Authors: Massimo Fornasier, Timo Klock, Marco Mondelli, Michael Rauchensteiner
- Abstract要約: 入力-出力対の有限標本からネットワークのパラメータを同定することは、しばしばエンプテラー-学生モデル(enmphteacher-student model)と呼ばれる。
本稿では,このような幅の広い浅層ネットワークに対して,構成的手法と有限標本同定の理論的保証を提供することにより,そのギャップを埋める。
- 参考スコア（独自算出の注目度）: 12.622813055808411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial neural networks are functions depending on a finite number of
parameters typically encoded as weights and biases. The identification of the
parameters of the network from finite samples of input-output pairs is often
referred to as the \emph{teacher-student model}, and this model has represented
a popular framework for understanding training and generalization. Even if the
problem is NP-complete in the worst case, a rapidly growing literature -- after
adding suitable distributional assumptions -- has established finite sample
identification of two-layer networks with a number of neurons $m=\mathcal
O(D)$, $D$ being the input dimension. For the range $D<m<D^2$ the problem
becomes harder, and truly little is known for networks parametrized by biases
as well. This paper fills the gap by providing constructive methods and
theoretical guarantees of finite sample identification for such wider shallow
networks with biases. Our approach is based on a two-step pipeline: first, we
recover the direction of the weights, by exploiting second order information;
next, we identify the signs by suitable algebraic evaluations, and we recover
the biases by empirical risk minimization via gradient descent. Numerical
results demonstrate the effectiveness of our approach.
- Abstract（参考訳）: 人工ニューラルネットワークは、一般に重みとバイアスとして符号化される有限数のパラメータに依存する関数である。
入力-出力対の有限標本からネットワークのパラメータを同定することは、しばしば 'emph{teacher-student model} と呼ばれ、このモデルは訓練と一般化を理解するための一般的な枠組みである。
最悪の場合、NP完全であるとしても、適切な分布仮定を加えた後、急速に増加する文献は、入力次元である$m=\mathcal O(D)$, $D$の2層ネットワークの有限標本識別を確立した。
D<m<D^2$の範囲では、問題は難しくなり、バイアスによってパラメトリケートされたネットワークでは、真にはほとんど知られていない。
本稿では,このような偏りのある浅層ネットワークに対して,構築的手法と有限サンプル同定の理論的保証を提供することにより,そのギャップを埋める。
まず, 2次情報を利用して重みの方向を復元し, 次に適切な代数的評価により記号を同定し, 勾配降下による経験的リスク最小化によりバイアスを回復する。
数値解析の結果,本手法の有効性が示された。
関連論文リスト
- Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳（メタデータ） (2023-02-15T02:00:26Z) - Unsupervised Learning of Initialization in Deep Neural Networks via
Maximum Mean Discrepancy [74.34895342081407]
本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。
まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。
次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
論文 参考訳（メタデータ） (2023-02-08T23:23:28Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Is Stochastic Gradient Descent Near Optimal? [0.0]
本研究では,多数のサンプルとクエリの総数を用いて,勾配勾配勾配の誤差が小さいことを示す。
このことは、SGDがJoen & Van Roy (arXiv:2203.00246) の情報理論的なサンプル複雑性境界を計算的に効率よく達成していることを示唆している。
論文 参考訳（メタデータ） (2022-09-18T18:26:43Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Physics-Enforced Modeling for Insertion Loss of Transmission Lines by
Deep Neural Networks [4.762000720968522]
ニューラルネットワークの直接適用は、負の挿入損失を持つ非物理モデルにつながる可能性があることを示す。
1つの解決策は、受動的条件を表す規制項を最終損失関数に追加し、挿入損失の負の量を強制することである。
第2の方法では、挿入損失を近似する正性を保証する3階式を最初に定義する。
論文 参考訳（メタデータ） (2021-07-27T00:22:10Z) - Stable Recovery of Entangled Weights: Towards Robust Identification of
Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。
エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。
本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文 参考訳（メタデータ） (2021-01-18T16:31:19Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。