論文の概要: On the Robustness of Monte Carlo Dropout Trained with Noisy Labels

• arxiv url: http://arxiv.org/abs/2103.12002v1
• Date: Mon, 22 Mar 2021 16:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 18:59:45.597091
• Title: On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いたモンテカルロドロップアウトのロバスト性について
• Authors: Purvi Goel and Li Chen
• Abstract要約: 認識の不確実性技術は、ノイズラベルでトレーニングされた場合、不確実性推定のないニューラルネットワークと比較して堅牢である。 我々はモンテカルロ・ドロップアウト(MCDropout)に注目し,ノイズラベルでトレーニングした場合になぜ堅牢かを検討する。
• 参考スコア（独自算出の注目度）: 9.088348613280036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The memorization effect of deep learning hinders its performance to effectively generalize on test set when learning with noisy labels. Prior study has discovered that epistemic uncertainty techniques are robust when trained with noisy labels compared with neural networks without uncertainty estimation. They obtain prolonged memorization effect and better generalization performance under the adversarial setting of noisy labels. Due to its superior performance amongst other selected epistemic uncertainty methods under noisy labels, we focus on Monte Carlo Dropout (MCDropout) and investigate why it is robust when trained with noisy labels. Through empirical studies on datasets MNIST, CIFAR-10, Animal-10n, we deep dive into three aspects of MCDropout under noisy label setting: 1. efficacy: understanding the learning behavior and test accuracy of MCDropout when training set contains artificially generated or naturally embedded label noise; 2. representation volatility: studying the responsiveness of neurons by examining the mean and standard deviation on each neuron's activation; 3. network sparsity: investigating the network support of MCDropout in comparison with deterministic neural networks. Our findings suggest that MCDropout further sparsifies and regularizes the deterministic neural networks and thus provides higher robustness against noisy labels.
• Abstract（参考訳）: ディープラーニングの記憶効果は、ノイズラベルで学習する際のテストセットを効果的に一般化することを妨げる。 従来の研究では、不確実性評価のないニューラルネットワークと比較して、ノイズラベルでトレーニングすると、てんかん不確実性技術が堅牢であることがわかった。 暗記効果が持続し,ノイズラベルの敵対的設定下での一般化性能が向上した。 ノイズラベル下での他の選択された認識不確実性手法よりも優れた性能を示すため,モンテカルロドロップアウト(mcdropout)に着目し,ノイズラベルを用いたトレーニングにおいて頑健である理由を検討する。 Through empirical studies on datasets MNIST, CIFAR-10, Animal-10n, we deep dive into three aspects of MCDropout under noisy label setting: 1. efficacy: understanding the learning behavior and test accuracy of MCDropout when training set contains artificially generated or naturally embedded label noise; 2. representation volatility: studying the responsiveness of neurons by examining the mean and standard deviation on each neuron's activation; 3. network sparsity: investigating the network support of MCDropout in comparison with deterministic neural networks. 以上の結果から, MCDropoutは決定論的ニューラルネットワークをさらに分散し, 規則化し, ノイズラベルに対する堅牢性を高めることが示唆された。

関連論文リスト

• Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection [25.55455239006278]
  トレーニング信号のダイナミクスに基づいて,誤ラベル付きインスタンスと正しくラベル付けされたインスタンスを識別するDynaCorフレームワークを提案する。 我々の総合的な実験により、DynaCorは最先端のライバルより優れており、様々なノイズタイプやノイズレートに対して強い堅牢性を示している。
  論文  参考訳（メタデータ） (2024-05-30T10:06:06Z)
• Contrastive-Based Deep Embeddings for Label Noise-Resilient Histopathology Image Classification [0.0]
  ノイズラベルは 病理組織像の分類において 重要な課題です ディープニューラルネットワークはラベルノイズに容易に適合し、モデル性能が大幅に低下する。 自己教師型コントラスト法で訓練した基礎モデルから抽出した埋め込みのラベル雑音耐性特性を示す。
  論文  参考訳（メタデータ） (2024-04-11T09:47:52Z)
• FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
  フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。 データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。 私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
  論文  参考訳（メタデータ） (2023-06-20T16:18:14Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Mitigating Memorization in Sample Selection for Learning with Noisy Labels [4.679610943608667]
  そこで本研究では,クラスワイドペナルティラベルを用いて,支配的ノイズラベル付きサンプルを集中的にペナルティ化する基準を提案する。 提案したサンプル選択により,ネットワークの学習過程はノイズラベルに対して著しく堅牢になる。
  論文  参考訳（メタデータ） (2021-07-08T06:44:04Z)
• Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
  標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。 コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。 合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2020-12-08T15:01:54Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。