論文の概要: The Implicit Bias of Benign Overfitting

• arxiv url: http://arxiv.org/abs/2201.11489v5
• Date: Mon, 17 Apr 2023 08:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 01:03:50.429815
• Title: The Implicit Bias of Benign Overfitting
• Title（参考訳）: 良性オーバーフィッティングの必然的バイアス
• Authors: Ohad Shamir
• Abstract要約: 良性過剰適合は、予測器がほぼ最適の損失を達成しながら、ノイズの多いトレーニングデータに完全に適合する場所である。 標準的な線形回帰を超えてこれを拡張できることを示します。 そして、分類問題に目を向け、状況がずっと有利であることを示す。
• 参考スコア（独自算出の注目度）: 31.714928102950584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The phenomenon of benign overfitting, where a predictor perfectly fits noisy training data while attaining near-optimal expected loss, has received much attention in recent years, but still remains not fully understood beyond well-specified linear regression setups. In this paper, we provide several new results on when one can or cannot expect benign overfitting to occur, for both regression and classification tasks. We consider a prototypical and rather generic data model for benign overfitting of linear predictors, where an arbitrary input distribution of some fixed dimension $k$ is concatenated with a high-dimensional distribution. For linear regression which is not necessarily well-specified, we show that the minimum-norm interpolating predictor (that standard training methods converge to) is biased towards an inconsistent solution in general, hence benign overfitting will generally not occur. Moreover, we show how this can be extended beyond standard linear regression, by an argument proving how the existence of benign overfitting on some regression problems precludes its existence on other regression problems. We then turn to classification problems, and show that the situation there is much more favorable. Specifically, we prove that the max-margin predictor (to which standard training methods are known to converge in direction) is asymptotically biased towards minimizing a weighted \emph{squared hinge loss}. This allows us to reduce the question of benign overfitting in classification to the simpler question of whether this loss is a good surrogate for the misclassification error, and use it to show benign overfitting in some new settings.
• Abstract（参考訳）: 予測器がほぼ最適の損失を達成しながらノイズの多いトレーニングデータに完全に適合する良性オーバーフィッティング現象は近年注目されているが、まだ十分に特定された線形回帰設定を超えて完全には理解されていない。 本稿では, 回帰処理と分類処理の両方において, 良性オーバーフィットの発生を期待できるかどうかを, 新たな結果として提示する。 我々は、ある固定次元 $k$ の任意の入力分布を高次元分布と結合する線形予測器の良性オーバーフィッティングのための原型的でむしろ汎用的なデータモデルを考える。 必ずしも適切に特定されていない線形回帰に対しては、最小ノルム補間予測器(標準訓練法が収束する)が一般に一貫性のない解に偏りがあることが示される。 さらに, 回帰問題に対する良性過剰の存在が他の回帰問題にその存在を妨げていることを示す議論によって, 標準線形回帰を越えてこれを拡張できることを示す。 次に分類問題に目を向け、状況がより有利であることを示します。 具体的には、マックスマージン予測器(標準訓練法が方向収束することが知られている)が、重み付き \emph{ squared hinge loss} の最小化に漸近的に偏っていることを証明する。 これにより、分類における良性過剰適合の問題を、この損失が誤分類エラーの適切な代名詞であるかどうかというより単純な問題に還元し、新しい設定で良性過剰適合を示すために使用することができる。

関連論文リスト

• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems [22.041067758144077]
  本研究では,不均衡な回帰問題に対するエキスパートの混合手法を提案する。 従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。 このような損失が不均衡をうまく扱えることを示した。
  論文  参考訳（メタデータ） (2023-05-24T14:12:21Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination [29.85468294601847]
  線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。 従来の手法が失敗した場合にアルゴリズムが成功することを示す。
  論文  参考訳（メタデータ） (2020-10-08T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。