Fugu-MT 論文翻訳(概要): Foolish Crowds Support Benign Overfitting

論文の概要: Foolish Crowds Support Benign Overfitting

arxiv url: http://arxiv.org/abs/2110.02914v1
Date: Wed, 6 Oct 2021 16:56:37 GMT
ステータス: 処理完了
システム内更新日: 2021-10-07 17:52:25.149889
Title: Foolish Crowds Support Benign Overfitting
Title（参考訳）: Foolish Crowds が Benign Overfitting をサポート
Authors: Niladri S. Chatterji and Philip M. Long
Abstract要約: ガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。ここでは, 騒音の適応による害は, 様々な方向に拡げることによって改善されるが, この分析は「群衆の知恵」の利点を露呈する。
参考スコア（独自算出の注目度）: 20.102619493827024
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We prove a lower bound on the excess risk of sparse interpolating procedures for linear regression with Gaussian data in the overparameterized regime. We work in a setting where the covariance structure has previously been shown to be compatible with benign overfitting with fast convergence to the Bayes risk. We apply the general bound to obtain a lower bound for basis pursuit (the minimum $\ell_1$-norm interpolant) that implies that its excess risk can converge at an exponentially slower rate than OLS (the minimum $\ell_2$-norm interpolant), even when the ground truth is sparse. Our analysis exposes the benefit of an effect analogous to the "wisdom of the crowd", except here the harm arising from fitting the noise is ameliorated by spreading it among many directions - the variance reduction arises from a foolish crowd.
Abstract（参考訳）: 過パラメータ化状態におけるガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。我々は、これまで共分散構造がベイズリスクへの高速収束を伴う良性過剰適合と互換性があることが示されていた環境で作業する。一般境界を適用して、基底探索に対する下界(最小$\ell_1$-norm補間)を求めると、その余剰リスクは、基底真理がスパースであっても、ORS(最小$\ell_2$-norm補間)よりも指数的に遅い速度で収束する。この分析は「群衆のウィズム」に類似した効果の利点を明らかにしたものであるが、ここではノイズを適合させることによる害は、多くの方向にそれを広めることで改善される。

関連論文リスト

Minimax Linear Regression under the Quantile Risk [31.277788690403522]
量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
論文参考訳（メタデータ） (2024-06-17T23:24:14Z)
Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文参考訳（メタデータ） (2023-10-27T09:16:58Z)
Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
論文参考訳（メタデータ） (2023-10-21T00:03:54Z)
Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
論文参考訳（メタデータ） (2023-10-02T08:15:52Z)
Ensemble linear interpolators: The role of ensembling [5.135730286836428]
補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
論文参考訳（メタデータ） (2023-09-06T20:38:04Z)
Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
論文参考訳（メタデータ） (2023-06-14T11:02:08Z)
Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty [5.799808780731661]
過剰リスクの修正版を導入します。より厳密で高速なPAC-ベイジアン一般化境界を得るのに使うことができる。我々は、これらの新しい境界を実世界のデータセットで実証的に評価する。
論文参考訳（メタデータ） (2022-10-20T14:14:52Z)
Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文参考訳（メタデータ） (2022-02-27T13:25:01Z)
Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文参考訳（メタデータ） (2021-08-05T23:04:15Z)
Super fast rates in structured prediction [88.99819200562784]
連続的な問題が連続的な値を予測しているときに、離散的な問題が本質的に離散的なアウトプットを予測しているという事実を活用する方法を示す。まず、近接する隣人に基づく予測器について説明し、二項分類で知られている確率を、構造的予測の枠組み内の任意の離散問題に一般化する。次に、カーネルリッジの回帰について検討し、問題の硬さを特徴付けるパラメータによって、n-1/4$の既知のレートを任意に高速化する。
論文参考訳（メタデータ） (2021-02-01T10:50:04Z)
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。