論文の概要: RATT: Leveraging Unlabeled Data to Guarantee Generalization

• arxiv url: http://arxiv.org/abs/2105.00303v1
• Date: Sat, 1 May 2021 17:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 14:19:50.462401
• Title: RATT: Leveraging Unlabeled Data to Guarantee Generalization
• Title（参考訳）: RATT: ラベルなしデータを一般化に活用
• Authors: Saurabh Garg, Sivaraman Balakrishnan, J. Zico Kolter, Zachary C. Lipton
• Abstract要約: ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
• 参考スコア（独自算出の注目度）: 96.08979093738024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To assess generalization, machine learning scientists typically either (i) bound the generalization gap and then (after training) plug in the empirical risk to obtain a bound on the true risk; or (ii) validate empirically on holdout data. However, (i) typically yields vacuous guarantees for overparameterized models. Furthermore, (ii) shrinks the training set and its guarantee erodes with each re-use of the holdout set. In this paper, we introduce a method that leverages unlabeled data to produce generalization bounds. After augmenting our (labeled) training set with randomly labeled fresh examples, we train in the standard fashion. Whenever classifiers achieve low error on clean data and high error on noisy data, our bound provides a tight upper bound on the true risk. We prove that our bound is valid for 0-1 empirical risk minimization and with linear classifiers trained by gradient descent. Our approach is especially useful in conjunction with deep learning due to the early learning phenomenon whereby networks fit true labels before noisy labels but requires one intuitive assumption. Empirically, on canonical computer vision and NLP tasks, our bound provides non-vacuous generalization guarantees that track actual performance closely. This work provides practitioners with an option for certifying the generalization of deep nets even when unseen labeled data is unavailable and provides theoretical insights into the relationship between random label noise and generalization.
• Abstract（参考訳）: 一般化を評価するために、機械学習の科学者は通常、(i)一般化ギャップを束縛し、(トレーニング後の)経験的リスクをプラグして真のリスクに縛られるか、または(ii)保持データに実証的に検証する。 しかし、(i) は通常、過パラメータモデルの空白な保証を与える。 さらに、(ii)は、ホールドアウトセットの再利用毎に、トレーニングセットとその保証エローデを縮小する。 本稿では,ラベルなしデータを利用して一般化境界を生成する手法を提案する。 ランダムにラベル付けされた新しい例で(ラベル付き)トレーニングセットを拡大した後、私たちは標準的な方法でトレーニングします。 分類器がクリーンなデータで低いエラーとノイズの多いデータで高いエラーを達成すると、我々の境界は真のリスクに対する厳密な上限を提供する。 我々は, 線形分類器を勾配降下法で訓練することにより, 0-1 のリスク最小化が可能であることを証明した。 提案手法は,ニューラルネットワークがノイズラベルの前に真のラベルに適合するが,直観的な仮定が1つ必要となる早期学習現象のため,ディープラーニングと併用して特に有用である。 実証的には、標準的なコンピュータビジョンとNLPタスクにおいて、我々の限界は実際のパフォーマンスを綿密に追跡する非空の一般化保証を提供する。 この研究は、目に見えないラベル付きデータが利用できない場合でもディープネットの一般化を認証するオプションを提供し、ランダムラベルノイズと一般化の関係に関する理論的洞察を提供する。

関連論文リスト

• An Unbiased Risk Estimator for Partial Label Learning with Augmented Classes [46.663081214928226]
  PLLACを理論的に保証した非バイアスリスク推定器を提案する。 PLLACの推定誤差の理論的解析を行う。 ベンチマーク、UCI、実世界のデータセットの実験では、提案手法の有効性が示されている。
  論文  参考訳（メタデータ） (2024-09-29T07:36:16Z)
• A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
  ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。 理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
  論文  参考訳（メタデータ） (2023-06-12T06:52:04Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Learning from Multiple Unlabeled Datasets with Partial Risk Regularization [80.54710259664698]
  本稿では,クラスラベルを使わずに正確な分類器を学習することを目的とする。 まず、与えられたラベルのない集合から推定できる分類リスクの偏りのない推定器を導出する。 その結果、経験的リスクがトレーニング中に負になるにつれて、分類器が過度に適合する傾向があることが判明した。 実験により,本手法は,複数の未ラベル集合から学習する最先端の手法を効果的に緩和し,性能を向上することを示した。
  論文  参考訳（メタデータ） (2022-07-04T16:22:44Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。