論文の概要: A Second-Order Approach to Learning with Instance-Dependent Label Noise

• arxiv url: http://arxiv.org/abs/2012.11854v2
• Date: Tue, 30 Mar 2021 16:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:44:24.735076
• Title: A Second-Order Approach to Learning with Instance-Dependent Label Noise
• Title（参考訳）: 事例依存ラベル雑音による学習の2次的アプローチ
• Authors: Zhaowei Zhu, Tongliang Liu, Yang Liu
• Abstract要約: ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
• 参考スコア（独自算出の注目度）: 58.555527517928596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The presence of label noise often misleads the training of deep neural networks. Departing from the recent literature which largely assumes the label noise rate is only determined by the true label class, the errors in human-annotated labels are more likely to be dependent on the difficulty levels of tasks, resulting in settings with instance-dependent label noise. We first provide evidences that the heterogeneous instance-dependent label noise is effectively down-weighting the examples with higher noise rates in a non-uniform way and thus causes imbalances, rendering the strategy of directly applying methods for class-dependent label noise questionable. Built on a recent work peer loss [24], we then propose and study the potentials of a second-order approach that leverages the estimation of several covariance terms defined between the instance-dependent noise rates and the Bayes optimal label. We show that this set of second-order statistics successfully captures the induced imbalances. We further proceed to show that with the help of the estimated second-order statistics, we identify a new loss function whose expected risk of a classifier under instance-dependent label noise is equivalent to a new problem with only class-dependent label noise. This fact allows us to apply existing solutions to handle this better-studied setting. We provide an efficient procedure to estimate these second-order statistics without accessing either ground truth labels or prior knowledge of the noise rates. Experiments on CIFAR10 and CIFAR100 with synthetic instance-dependent label noise and Clothing1M with real-world human label noise verify our approach. Our implementation is available at https://github.com/UCSC-REAL/CAL.
• Abstract（参考訳）: ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 近年の文献では、ラベルのノイズレートは真のラベルクラスによってのみ決定されると考えられており、ヒューマンアノテートされたラベルのエラーはタスクの難易度に依存しやすいため、インスタンスに依存したラベルのノイズが設定される。 まず、不均一なインスタンス依存ラベルノイズが、非均一な方法で高いノイズ率で実例を効果的に重み付けし、不均衡を引き起こすという証拠を提供し、クラス依存ラベルノイズの直接適用の戦略を疑わしいものにする。 次に,最近のピアロス[24]に基づいて,インスタンス依存雑音率とベイズ最適ラベルの間で定義された複数の共分散項を推定する2次アプローチの可能性を提案・検討する。 この二階統計が誘導不均衡をうまく捉えていることを示す。 さらに,推定された第2次統計の助けを借りて,インスタンス依存ラベル雑音下での分類器の予測リスクが,クラス依存ラベルノイズのみを持つ新たな問題と同値となる新たな損失関数を同定する。 この事実により、よりよく検討された設定を扱うために、既存のソリューションを適用できます。 我々は,これらの2次統計を,基底的真理ラベルや雑音率の事前知識を使わずに,効率的に推定する手法を提案する。 合成インスタンス依存ラベルノイズによるcifar10とcifar100の実験と実世界のラベルノイズを用いたwears1mの検証を行った。 実装はhttps://github.com/UCSC-REAL/CALで公開しています。

関連論文リスト

• Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Approach [37.32107678838193]
  雑音ラベル(LNL)からの学習は、ディープラーニングにおいて重要な役割を果たす。 最も有望なLNLメソッドは、ノイズの多いアノテーションでデータセットからクリーンなラベルサンプルを特定することに依存する。 そこで本研究では,最寄りの住民を対象に,雑音ラベルの分布を推定することで,新たな雑音ラベルを自動的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-04T01:54:33Z)
• Instance-dependent Label Distribution Estimation for Learning with Label Noise [20.479674500893303]
  雑音遷移行列(NTM)推定はラベル雑音による学習に有望な手法である。 本稿では、画像分類のためのノイズラベルから学習するためのインスタンス依存ラベル分布推定(ILDE)手法を提案する。 提案手法は, 合成ノイズであっても実雑音であっても, 競合する全ての手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:13:25Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels [98.13491369929798]
  そこで我々は,ノイズのあるクラスラベルを持つデータポイントを,ノイズの多い類似ラベルを持つデータペアに変換するClass2Simiというフレームワークを提案する。 Class2Simiは、この変換がミニバッチのオンザフライであるだけでなく、モデル予測上の損失をペアワイズに変化させるため、計算的に効率的である。
  論文  参考訳（メタデータ） (2020-06-14T07:55:32Z)
• NoiseRank: Unsupervised Label Noise Reduction with Dependence Models [11.08987870095179]
  マルコフランダム場(MRF)を用いた教師なしラベル雑音低減のためのノイズRankを提案する。 本研究では,データセットに誤ってラベル付けされたインスタンスの後方確率と,その推定確率に基づいてランク付けされたインスタンスを推定する依存性モデルを構築した。 NORankはFood101-N(20%ノイズ)の最先端分類を改善し、高雑音クローティング-1M(40%ノイズ)に有効である
  論文  参考訳（メタデータ） (2020-03-15T01:10:25Z)
• Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
  ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。 我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。 信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
  論文  参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。