論文の概要: Foolish Crowds Support Benign Overfitting
- arxiv url: http://arxiv.org/abs/2110.02914v1
- Date: Wed, 6 Oct 2021 16:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 17:52:25.149889
- Title: Foolish Crowds Support Benign Overfitting
- Title(参考訳): Foolish Crowds が Benign Overfitting をサポート
- Authors: Niladri S. Chatterji and Philip M. Long
- Abstract要約: ガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。
ここでは, 騒音の適応による害は, 様々な方向に拡げることによって改善されるが, この分析は「群衆の知恵」の利点を露呈する。
- 参考スコア(独自算出の注目度): 20.102619493827024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove a lower bound on the excess risk of sparse interpolating procedures
for linear regression with Gaussian data in the overparameterized regime. We
work in a setting where the covariance structure has previously been shown to
be compatible with benign overfitting with fast convergence to the Bayes risk.
We apply the general bound to obtain a lower bound for basis pursuit (the
minimum $\ell_1$-norm interpolant) that implies that its excess risk can
converge at an exponentially slower rate than OLS (the minimum $\ell_2$-norm
interpolant), even when the ground truth is sparse. Our analysis exposes the
benefit of an effect analogous to the "wisdom of the crowd", except here the
harm arising from fitting the noise is ameliorated by spreading it among many
directions - the variance reduction arises from a foolish crowd.
- Abstract(参考訳): 過パラメータ化状態におけるガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。
我々は、これまで共分散構造がベイズリスクへの高速収束を伴う良性過剰適合と互換性があることが示されていた環境で作業する。
一般境界を適用して、基底探索に対する下界(最小$\ell_1$-norm補間)を求めると、その余剰リスクは、基底真理がスパースであっても、ORS(最小$\ell_2$-norm補間)よりも指数的に遅い速度で収束する。
この分析は「群衆のウィズム」に類似した効果の利点を明らかにしたものであるが、ここではノイズを適合させることによる害は、多くの方向にそれを広めることで改善される。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳(メタデータ) (2023-10-27T09:16:58Z) - Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。
また、勾配法のようなベースラインよりも2~3$times$早く収束できることも示している。
論文 参考訳(メタデータ) (2023-10-21T00:03:54Z) - Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [56.457634640638254]
本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。
本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。
我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
論文 参考訳(メタデータ) (2023-10-02T08:15:52Z) - Ensemble linear interpolators: The role of ensembling [5.135730286836428]
補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。
本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
論文 参考訳(メタデータ) (2023-09-06T20:38:04Z) - Batches Stabilize the Minimum Norm Risk in High Dimensional
Overparameterized Linear Regression [21.83136833217205]
バッチ分割は計算効率と性能のトレードオフとして有用であることを示す。
最小ノルム推定器の自然な小バッチ版を提案し、その2次リスクの上限を導出する。
我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上の雑音射影のワッサーシュタイン計量の正規近似によって導かれる。
論文 参考訳(メタデータ) (2023-06-14T11:02:08Z) - Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty [5.799808780731661]
過剰リスクの修正版を導入します。
より厳密で高速なPAC-ベイジアン一般化境界を得るのに使うことができる。
我々は、これらの新しい境界を実世界のデータセットで実証的に評価する。
論文 参考訳(メタデータ) (2022-10-20T14:14:52Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳(メタデータ) (2022-02-27T13:25:01Z) - Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model:
A new take on Robust Interpolation [5.98367009147573]
2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。
その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
論文 参考訳(メタデータ) (2021-11-13T05:19:37Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳(メタデータ) (2021-08-05T23:04:15Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。