論文の概要: Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization

• arxiv url: http://arxiv.org/abs/2006.06560v2
• Date: Sat, 7 Nov 2020 10:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 13:41:12.088412
• Title: Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization
• Title（参考訳）: 高次元パーセプトロンにおける一般化誤差:凸最適化によるベイズ誤差の接近
• Authors: Benjamin Aubin, Florent Krzakala, Yue M. Lu, Lenka Zdeborov\'a
• Abstract要約: 高次元状態における標準分類器の一般化性能について検討する。 ベイズ最適一般化誤差を確実に導く最適損失と正則化器を設計する。
• 参考スコア（独自算出の注目度）: 37.57922952189396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a commonly studied supervised classification of a synthetic dataset whose labels are generated by feeding a one-layer neural network with random iid inputs. We study the generalization performances of standard classifiers in the high-dimensional regime where $\alpha=n/d$ is kept finite in the limit of a high dimension $d$ and number of samples $n$. Our contribution is three-fold: First, we prove a formula for the generalization error achieved by $\ell_2$ regularized classifiers that minimize a convex loss. This formula was first obtained by the heuristic replica method of statistical physics. Secondly, focussing on commonly used loss functions and optimizing the $\ell_2$ regularization strength, we observe that while ridge regression performance is poor, logistic and hinge regression are surprisingly able to approach the Bayes-optimal generalization error extremely closely. As $\alpha \to \infty$ they lead to Bayes-optimal rates, a fact that does not follow from predictions of margin-based generalization error bounds. Third, we design an optimal loss and regularizer that provably leads to Bayes-optimal generalization error.
• Abstract（参考訳）: 本稿では,一層ニューラルネットワークにランダムiid入力を供給することによりラベルを生成する合成データセットの教師付き分類について検討する。 我々は、高次元の$d$とサンプル数$n$の極限で$\alpha=n/d$を有限に保った高次元状態における標準分類器の一般化性能について検討する。 まず、凸損失を最小化する$\ell_2$正規化分類器によって達成される一般化誤差の式を証明します。 この公式は統計物理学のヒューリスティックレプリカ法によって初めて得られた。 第二に、よく使われる損失関数に着目し、$\ell_2$正規化強度を最適化すると、リッジ回帰性能は劣るが、ロジスティックおよびヒンジ回帰は驚くほどベイズ最適一般化誤差に近づくことができる。 $\alpha \to \infty$ はベイズ最適化率につながるが、これはマージンベースの一般化誤差境界の予測から従わない。 第三に、ベイズ最適一般化誤差につながる最適損失と正則化器を設計する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
  統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:33Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Consistent Estimation for PCA and Sparse Regression with Oblivious Outliers [13.244654316770815]
  我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。 スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。 PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
  論文  参考訳（メタデータ） (2021-11-04T15:59:44Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Flatness is a False Friend [0.7614628596146599]
  ヘッセンに基づく平坦性の測度は、一般化に関連して議論され、使用され、示されている。 交叉エントロピー損失下でのフィードフォワードニューラルネットワークでは、大きな重みを持つ低損失解が、平らさの小さなヘッセン的基準を持つことを期待する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:24Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。