論文の概要: Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models

• arxiv url: http://arxiv.org/abs/2206.00501v2
• Date: Mon, 3 Apr 2023 13:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 01:25:14.310775
• Title: Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models
• Title（参考訳）: 分類における良性過剰--大きなモデルでラベルノイズに対抗できる
• Authors: Kaiyue Wen, Jiaye Teng, Jingzhao Zhang
• Abstract要約: 我々は、ResNetモデルがCifar10に優越するが、ImageNetに優越しないことを示す。 私たちの研究は、将来の方向性として不適合な体制における暗黙のバイアスを理解することの重要性を強調します。
• 参考スコア（独自算出の注目度）: 8.696962915720174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies on benign overfitting provide insights for the success of overparameterized deep learning models. In this work, we examine whether overfitting is truly benign in real-world classification tasks. We start with the observation that a ResNet model overfits benignly on Cifar10 but not benignly on ImageNet. To understand why benign overfitting fails in the ImageNet experiment, we theoretically analyze benign overfitting under a more restrictive setup where the number of parameters is not significantly larger than the number of data points. Under this mild overparameterization setup, our analysis identifies a phase change: unlike in the previous heavy overparameterization settings, benign overfitting can now fail in the presence of label noise. Our analysis explains our empirical observations, and is validated by a set of control experiments with ResNets. Our work highlights the importance of understanding implicit bias in underfitting regimes as a future direction.
• Abstract（参考訳）: 良性過剰フィッティングの研究は、過剰パラメータのディープラーニングモデルの成功のための洞察を提供する。 本研究では,実世界の分類タスクにおいて過剰適合が真に有益であるかどうかを検討する。 まず、ResNetモデルがCifar10に優越するが、ImageNetに優越しないという観察から始める。 ImageNet実験でベニグオーバーフィッティングが失敗する理由を理解するために,パラメータ数がデータポイント数より大きくないような制限的な設定でベニグオーバーフィッティングを理論的に解析する。 この軽度な過パラメータ化設定の下で、我々の分析は相変化を識別する:以前の重度過パラメータ化設定とは異なり、良性過適合はラベルノイズの存在下で失敗する。 我々の分析は経験的観察を説明し、ResNetsによる一連の制御実験によって検証される。 我々の研究は、将来の方向性として不適合な体制における暗黙のバイアスを理解することの重要性を強調します。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Quantifying lottery tickets under label noise: accuracy, calibration, and complexity [6.232071870655069]
  ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。 スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
  論文  参考訳（メタデータ） (2023-06-21T11:35:59Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Robust Fine-Tuning of Deep Neural Networks with Hessian-based Generalization Guarantees [20.2407347618552]
  オーバーフィッティングの問題を理解するために,ファインチューニングの一般化特性について検討する。 本稿では,クラス条件独立ノイズモデルに基づくアルゴリズムと一般化誤差保証を提案する。
  論文  参考訳（メタデータ） (2022-06-06T14:52:46Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
  ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。 小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。 適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
  論文  参考訳（メタデータ） (2021-06-24T21:35:25Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles [65.9694455739978]
  特徴不確実性の下での文脈線形帯域問題について検討する。 本分析により, 最適仮説は, 雑音特性に応じて, 基礎となる実現可能性関数から著しく逸脱しうることが明らかとなった。 これは、古典的アプローチが非自明な後悔境界を保証できないことを意味する。
  論文  参考訳（メタデータ） (2017-03-03T21:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。