論文の概要: The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels

• arxiv url: http://arxiv.org/abs/2210.00583v1
• Date: Sun, 2 Oct 2022 17:47:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:48:51.650097
• Title: The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels
• Title（参考訳）: ディープネットワークにおけるコンセンサスのダイナミクスとノイズラベルの同定
• Authors: Daniel Shwartz and Uri Stern and Daphna Weinshall
• Abstract要約: ノイズラベルは トレーニングの終わりまでに きれいな例とは区別できない 最近の研究では、ディープネットワークがノイズの多い例よりもずっと早くサンプルを記憶しているように見えるという事実を活用して、この問題に対処している。 我々は,この観測結果を用いて,ノイズラベル濾過の新しい手法を開発した。
• 参考スコア（独自算出の注目度）: 5.28539620288341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have incredible capacity and expressibility, and can seemingly memorize any training set. This introduces a problem when training in the presence of noisy labels, as the noisy examples cannot be distinguished from clean examples by the end of training. Recent research has dealt with this challenge by utilizing the fact that deep networks seem to memorize clean examples much earlier than noisy examples. Here we report a new empirical result: for each example, when looking at the time it has been memorized by each model in an ensemble of networks, the diversity seen in noisy examples is much larger than the clean examples. We use this observation to develop a new method for noisy labels filtration. The method is based on a statistics of the data, which captures the differences in ensemble learning dynamics between clean and noisy data. We test our method on three tasks: (i) noise amount estimation; (ii) noise filtration; (iii) supervised classification. We show that our method improves over existing baselines in all three tasks using a variety of datasets, noise models, and noise levels. Aside from its improved performance, our method has two other advantages. (i) Simplicity, which implies that no additional hyperparameters are introduced. (ii) Our method is modular: it does not work in an end-to-end fashion, and can therefore be used to clean a dataset for any other future usage.
• Abstract（参考訳）: ディープニューラルネットワークは驚くほどの能力と表現力を持ち、トレーニングセットを記憶することができる。 これは、ノイズのあるラベルの存在下でのトレーニングにおいて、ノイズの多い例がトレーニングの終了までにクリーンな例と区別できないという問題を引き起こす。 最近の研究では、ディープネットワークがノイズの多い例よりもずっと早くクリーンな例を記憶しているように見えることから、この問題に対処している。 ここでは、新しい経験的結果について報告する:各例において、各モデルがネットワークのアンサンブルで記憶した時刻を見ると、ノイズの多い例に見られる多様性はクリーンな例よりもはるかに大きい。 この観察を用いて雑音ラベル濾過法を開発した。 この方法はデータの統計に基づいており、クリーンデータとノイズデータの間のアンサンブル学習ダイナミクスの違いを捉えている。 私たちは3つのタスクでメソッドをテストする。 (i)騒音量の推定 (ii)ノイズろ過 (iii)監督分類。 提案手法は,様々なデータセット,ノイズモデル,ノイズレベルを用いて,既存の3つのタスクのベースラインを改良する。 性能の改善とは別に、我々の手法には2つの利点がある。 (i)単純で、追加のハイパーパラメーターは導入されない。 (ii)本手法はモジュール化されており,エンドツーエンドで動作しないため,将来的な使用のためにデータセットのクリーニングに使用することができる。

関連論文リスト

• Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
  非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。 どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。 実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-01T23:03:53Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Co-Learning Meets Stitch-Up for Noisy Multi-label Visual Recognition [70.00984078351927]
  本稿では,多ラベル分類と長期学習の特徴に基づく雑音の低減に焦点をあてる。 よりクリーンなサンプルを合成し,マルチラベルノイズを直接低減するStitch-Up拡張を提案する。 ヘテロジニアス・コラーニング・フレームワークは、長い尾の分布とバランスの取れた分布の不整合を活用するためにさらに設計されている。
  論文  参考訳（メタデータ） (2023-07-03T09:20:28Z)
• MILD: Modeling the Instance Learning Dynamics for Learning with Noisy Labels [19.650299232829546]
  クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。 特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。 我々の戦略は既存の雑音ラベル学習方法より優れている。
  論文  参考訳（メタデータ） (2023-06-20T14:26:53Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond [21.594200327544968]
  ノイズの多い例から学ぶための柔軟なアプローチを提案する。 具体的には、各トレーニング例を専門家として扱い、すべての例に分散を維持します。 他の関連する手法とは異なり、このアプローチは損失関数の一般的なクラスを扱い、幅広いノイズタイプやアプリケーションに適用できる。
  論文  参考訳（メタデータ） (2021-04-03T22:54:49Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• EvidentialMix: Learning with Combined Open-set and Closed-set Noisy Labels [30.268962418683955]
  開集合ラベルと閉集合ラベルを組み合わせた雑音ラベル問題の新しい変種について検討する。 その結果,従来の最先端手法よりも優れた分類結果と特徴表現が得られた。
  論文  参考訳（メタデータ） (2020-11-11T11:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。