論文の概要: Learning Not to Learn in the Presence of Noisy Labels

• arxiv url: http://arxiv.org/abs/2002.06541v1
• Date: Sun, 16 Feb 2020 09:12:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:48:25.572312
• Title: Learning Not to Learn in the Presence of Noisy Labels
• Title（参考訳）: 雑音ラベルの存在下で学習しない学習
• Authors: Liu Ziyin, Blair Chen, Ru Wang, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency, Masahito Ueda
• Abstract要約: ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
• 参考スコア（独自算出の注目度）: 104.7655376309784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning in the presence of label noise is a challenging yet important task: it is crucial to design models that are robust in the presence of mislabeled datasets. In this paper, we discover that a new class of loss functions called the gambler's loss provides strong robustness to label noise across various levels of corruption. We show that training with this loss function encourages the model to "abstain" from learning on the data points with noisy labels, resulting in a simple and effective method to improve robustness and generalization. In addition, we propose two practical extensions of the method: 1) an analytical early stopping criterion to approximately stop training before the memorization of noisy labels, as well as 2) a heuristic for setting hyperparameters which do not require knowledge of the noise corruption rate. We demonstrate the effectiveness of our method by achieving strong results across three image and text classification tasks as compared to existing baselines.
• Abstract（参考訳）: ラベルノイズの存在下で学習することは、難しいが重要な課題である。誤ったラベル付きデータセットが存在する場合に堅牢なモデルを設計することが重要である。 本稿では, ギャンブラー損失と呼ばれる新しい種類の損失関数が, 各種の汚損レベルにおける騒音のラベル付けに強い堅牢性をもたらすことを明らかにする。 この損失関数を用いたトレーニングは、ノイズラベル付きデータポイントでの学習を「維持」し、ロバスト性や一般化を改善するためのシンプルで効果的な方法であることを示す。 さらに,本手法の実践的拡張を2つ提案する。 1) 騒音ラベルの記憶に先立って, ほぼ停止訓練を行うための分析的早期停止基準 2)騒音劣化率の知識を必要としない過度パラメータを設定するためのヒューリスティック。 本手法は,既存のベースラインと比較して,3つの画像とテキストの分類タスクで強い結果を得ることにより,有効性を示す。

関連論文リスト

• Learning Camouflaged Object Detection from Noisy Pseudo Label [60.9005578956798]
  本稿では,まず,弱い半教師付きカモフラージュオブジェクト検出(COD)法を提案する。 予算効率が高く高精度なカモフラージュされたオブジェクトセグメンテーションを目標とし、完全にラベル付けされた画像が極めて限られている。 本稿では,早期の学習段階において,モデルが正しい画素の学習を容易にするノイズ補正損失を提案する。 完全ラベル付きデータの20%しか使用しない場合,本手法は最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T04:53:51Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Mitigating Label Noise through Data Ambiguation [9.51828574518325]
  表現力の高い大型モデルは、誤ったラベルを記憶する傾向があるため、一般化性能を損なう。 本稿では,対象情報の「曖昧化」により,両手法の欠点に対処することを提案する。 より正確には、いわゆる超集合学習の枠組みを利用して、信頼度閾値に基づいて設定値の目標を構築する。
  論文  参考訳（メタデータ） (2023-05-23T07:29:08Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• On Learning Contrastive Representations for Learning with Noisy Labels [26.23187556876699]
  ディープニューラルネットワークは、ソフトマックスクロスエントロピー(CE)損失でノイズラベルを容易に記憶することができる。 従来の研究では、ノイズ・ロスバスト損失関数をCE損失に組み込むことでこの問題に対処しようとした。 そこで本稿では,ノイズの多いデータ上でそのような表現を学習するための,新しいコントラスト正規化関数を提案する。
  論文  参考訳（メタデータ） (2022-03-03T15:58:05Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
  我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。 学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。 筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
  論文  参考訳（メタデータ） (2020-09-15T12:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。