論文の概要: Over-Fit: Noisy-Label Detection based on the Overfitted Model Property

• arxiv url: http://arxiv.org/abs/2106.07217v1
• Date: Mon, 14 Jun 2021 08:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:31:57.681666
• Title: Over-Fit: Noisy-Label Detection based on the Overfitted Model Property
• Title（参考訳）: オーバーフィット:オーバーフィットモデル特性に基づくノイズラベル検出
• Authors: Seulki Park, Dae Ung Jo, and Jin Young Choi
• Abstract要約: 本研究では,個々のデータ点に過度に適合する特性を利用した新しいノイズラベル検出アルゴリズムを提案する。 我々は,本手法を実世界のビデオデータセットに拡張できるだけでなく,オーバーフィッティングによる問題を解決するための正規化手法として見ることもできることを示した。
• 参考スコア（独自算出の注目度）: 9.606966168918849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the increasing need to handle the noisy label problem in a massive dataset, learning with noisy labels has received much attention in recent years. As a promising approach, there have been recent studies to select clean training data by finding small-loss instances before a deep neural network overfits the noisy-label data. However, it is challenging to prevent overfitting. In this paper, we propose a novel noisy-label detection algorithm by employing the property of overfitting on individual data points. To this end, we present two novel criteria that statistically measure how much each training sample abnormally affects the model and clean validation data. Using the criteria, our iterative algorithm removes noisy-label samples and retrains the model alternately until no further performance improvement is made. In experiments on multiple benchmark datasets, we demonstrate the validity of our algorithm and show that our algorithm outperforms the state-of-the-art methods when the exact noise rates are not given. Furthermore, we show that our method can not only be expanded to a real-world video dataset but also can be viewed as a regularization method to solve problems caused by overfitting.
• Abstract（参考訳）: 大規模データセットにおけるノイズラベル問題に対処する必要性が高まっているため,近年,ノイズラベルを用いた学習が注目されている。 有望なアプローチとして、ディープニューラルネットワークがノイズラベルデータに適合する前に、小さなロスインスタンスを見つけることによって、クリーンなトレーニングデータを選択する研究が最近行われている。 しかし、過剰フィットを防ぐことは困難である。 本稿では,個々のデータ点に過度に適合する特性を利用した新しいノイズラベル検出アルゴリズムを提案する。 そこで本研究では,各トレーニングサンプルがモデルにどの程度異常に影響を及ぼすかを統計的に測定する2つの新しい基準を提案する。 この基準を用いて,本アルゴリズムはノイズラベルサンプルを除去し,さらなる性能向上が得られないまでの間,モデルを交互に再訓練する。 複数のベンチマークデータセットの実験では,アルゴリズムの有効性を実証し,正確なノイズ率が与えられていない場合,アルゴリズムが最先端の手法より優れていることを示す。 さらに,本手法は実世界のビデオデータセットに拡張できるだけでなく,オーバーフィッティングによる問題を解決するための正規化手法として見ることもできる。

関連論文リスト

• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Analyze the Robustness of Classifiers under Label Noise [5.708964539699851]
  教師付き学習におけるラベルノイズは、誤ったラベルまたは不正確なラベルによって特徴づけられ、モデル性能を著しく損なう。 本研究は, ラベルノイズが実用的応用に与える影響について, ますます関連する問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-12T13:51:25Z)
• Robust Feature Learning Against Noisy Labels [0.2082426271304908]
  ミスラベルされたサンプルはモデルの一般化を著しく低下させることができる。 ノイズラベルによる監督の負の影響を最小限に抑えるために、プログレッシブな自己ブートストラッピングが導入される。 実験結果から,本手法は強騒音ラベル下でモデルロバスト性を効果的かつ効果的に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-10T02:55:35Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。