論文の概要: Lower Bounds on the Generalization Error of Nonlinear Learning Models

• arxiv url: http://arxiv.org/abs/2103.14723v1
• Date: Fri, 26 Mar 2021 20:37:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 15:48:36.316269
• Title: Lower Bounds on the Generalization Error of Nonlinear Learning Models
• Title（参考訳）: 非線形学習モデルの一般化誤差における下限
• Authors: Inbar Seroussi, Ofer Zeitouni
• Abstract要約: 本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。 偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。 線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
• 参考スコア（独自算出の注目度）: 2.1030878979833467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study in this paper lower bounds for the generalization error of models derived from multi-layer neural networks, in the regime where the size of the layers is commensurate with the number of samples in the training data. We show that unbiased estimators have unacceptable performance for such nonlinear networks in this regime. We derive explicit generalization lower bounds for general biased estimators, in the cases of linear regression and of two-layered networks. In the linear case the bound is asymptotically tight. In the nonlinear case, we provide a comparison of our bounds with an empirical study of the stochastic gradient descent algorithm. The analysis uses elements from the theory of large random matrices.
• Abstract（参考訳）: 本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。 偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。 線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。 線形の場合、境界は漸近的にタイトである。 非線形の場合、確率的勾配降下アルゴリズムの実証的研究と境界の比較を行う。 この分析は、大きなランダム行列の理論の要素を用いる。

関連論文リスト

• Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
  勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。 最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。 しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
  論文  参考訳（メタデータ） (2024-10-17T19:46:51Z)
• Classification of Data Generated by Gaussian Mixture Models Using Deep ReLU Networks [28.437011792990347]
  本稿では,ガウス混合ネットワーク下で発生した$math RMsのデータ二項分類について検討する。 コンバージェンスレートが初めて$d2013xのニューラル解析レートを得る。 結果は、実用的な分類問題におけるディープニューラルネットワークの理論的検証を提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:40:42Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Fast Convergence in Learning Two-Layer Neural Networks with Separable Data [37.908159361149835]
  2層ニューラルネット上の正規化勾配勾配について検討した。 正規化GDを用いてトレーニング損失の線形収束率を大域的最適に導くことを証明する。
  論文  参考訳（メタデータ） (2023-05-22T20:30:10Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Adaptive deep learning for nonlinear time series models [0.0]
  我々は、ディープニューラルネットワーク(DNN)を用いた非定常および非線形時系列モデルの平均関数の適応的非パラメトリック推定の理論を開発する。 我々は、幅広い非線形自己回帰(AR)モデルに属する平均関数を推定するために、ミニマックス下限を導出する。
  論文  参考訳（メタデータ） (2022-07-06T09:58:58Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
  任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。 正規ロジスティック回帰が学習に与える影響を解析する。 また,本モデルでは,特別事例の学習と配布の事例も捉えている。
  論文  参考訳（メタデータ） (2020-05-01T02:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。