論文の概要: Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime

• arxiv url: http://arxiv.org/abs/2004.12019v4
• Date: Tue, 1 Jun 2021 18:03:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:35:38.832251
• Title: Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime
• Title（参考訳）: 過パラメータ領域における補間線形分類器の有限サンプル解析
• Authors: Niladri S. Chatterji, Philip M. Long
• Abstract要約: 2クラス線形分類における最大マージンアルゴリズムの集団リスクに関するバウンダリを証明した。 誤分類ノイズを含むランダムデータに適用したこのアルゴリズムを解析する。
• 参考スコア（独自算出の注目度）: 16.1176305285103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove bounds on the population risk of the maximum margin algorithm for two-class linear classification. For linearly separable training data, the maximum margin algorithm has been shown in previous work to be equivalent to a limit of training with logistic loss using gradient descent, as the training error is driven to zero. We analyze this algorithm applied to random data including misclassification noise. Our assumptions on the clean data include the case in which the class-conditional distributions are standard normal distributions. The misclassification noise may be chosen by an adversary, subject to a limit on the fraction of corrupted labels. Our bounds show that, with sufficient over-parameterization, the maximum margin algorithm trained on noisy data can achieve nearly optimal population risk.
• Abstract（参考訳）: 2クラス線形分類における最大マージンアルゴリズムの集団リスクの限界を証明した。 線形分離可能なトレーニングデータに対して、最大マージンアルゴリズムは、トレーニングエラーが0に駆動されるため、勾配降下を用いたロジスティック損失を伴うトレーニングの限界に相当することが以前の研究で示されている。 このアルゴリズムは誤分類ノイズを含むランダムデータに適用される。 クリーンデータに対する我々の仮定は、クラス条件分布が標準正規分布である場合を含む。 誤分類ノイズは敵によって選択され、破損したラベルのごく一部に制限される。 我々の限界は、十分な過パラメータ化によって、ノイズデータに基づいてトレーニングされた最大マージンアルゴリズムが、ほぼ最適な人口リスクを達成できることを示している。

関連論文リスト

• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
  我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。 更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-28T12:13:57Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Classification with abstention but without disparities [5.025654873456756]
  我々は、異なる影響を回避しつつ、予測を棄却できる汎用的な分類アルゴリズムを構築した。 提案したアルゴリズムに対して,有限サンプルリスク,公平性,および留意保証を確立する。 本手法は, 適度な禁制率により, リスク・フェアネストレードオフを回避できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-02-24T12:43:55Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• A termination criterion for stochastic gradient descent for binary classification [3.216356957608319]
  そこで本研究では, ステップサイズ勾配勾配定位のための新しい, 単純で, 安価に終了試験を提案する。 実験の終了回数が有限であることを示すとともに,データ中のノイズが大きすぎると,終了時の予測分類器が誤分類の確率を最小化することを示す。
  論文  参考訳（メタデータ） (2020-03-23T15:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。