Fugu-MT 論文翻訳(概要): Non-Vacuous Generalisation Bounds for Shallow Neural Networks

論文の概要: Non-Vacuous Generalisation Bounds for Shallow Neural Networks

arxiv url: http://arxiv.org/abs/2202.01627v2
Date: Fri, 4 Feb 2022 15:41:51 GMT
ステータス: 処理完了
システム内更新日: 2022-02-07 12:28:26.970698
Title: Non-Vacuous Generalisation Bounds for Shallow Neural Networks
Title（参考訳）: 浅層ニューラルネットワークの非バス一般化境界
Authors: Felix Biggs, Benjamin Guedj
Abstract要約: 我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
参考スコア（独自算出の注目度）: 5.799808780731661
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We focus on a specific class of shallow neural networks with a single hidden layer, namely those with $L_2$-normalised data and either a sigmoid-shaped Gaussian error function ("erf") activation or a Gaussian Error Linear Unit (GELU) activation. For these networks, we derive new generalisation bounds through the PAC-Bayesian theory; unlike most existing such bounds they apply to neural networks with deterministic rather than randomised parameters. Our bounds are empirically non-vacuous when the network is trained with vanilla stochastic gradient descent on MNIST and Fashion-MNIST.
Abstract（参考訳）: 我々は、単一の隠蔽層を持つ特定の浅いニューラルネットワーク、すなわち、$L_2$正規化データを持ち、Sigmoid型ガウス型エラー関数("erf")アクティベーションまたはガウス型エラー線形ユニット(GELU)アクティベーションを持つものに焦点を当てた。これらのネットワークに対しては、pac-ベイズ理論を通じて新たな一般化境界を導出する。 MNIST と Fashion-MNIST にバニラ確率勾配勾配をトレーニングした場合,我々の限界は経験的でない。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Differentially Private Non-convex Learning for Multi-layer Neural Networks [35.24835396398768]
本稿では,単一出力ノードを持つ(多層)完全連結ニューラルネットワークに対する差分的タンジェント最適化の問題に焦点をあてる。ニューラルカーネル理論の最近の進歩を利用して、サンプルサイズとネットワーク幅の両方が十分に大きい場合に、最初の過剰人口リスクを提供する。
論文参考訳（メタデータ） (2023-10-12T15:48:14Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
論文参考訳（メタデータ） (2023-05-17T20:09:35Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文参考訳（メタデータ） (2023-01-28T00:06:22Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文参考訳（メタデータ） (2021-11-23T20:31:42Z)
How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文参考訳（メタデータ） (2020-08-19T13:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。