論文の概要: Learning to Bootstrap for Combating Label Noise

• arxiv url: http://arxiv.org/abs/2202.04291v1
• Date: Wed, 9 Feb 2022 05:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 15:43:29.370805
• Title: Learning to Bootstrap for Combating Label Noise
• Title（参考訳）: ラベルノイズ対策のためのブートストラップ学習
• Authors: Yuyin Zhou, Xianhang Li, Fengze Liu, Xuxi Chen, Lequan Yu, Cihang Xie, Matthew P. Lungren, Lei Xing
• Abstract要約: 騒々しい監視は ラベルのバリエーションや 敵によるラベルの腐敗など ディープニューラルネットワークは表現学習のための強力なツールだが、ノイズの多いラベルに簡単に適合できる。 本稿では、インスタンスとラベルの同時再重み付けを可能にする、より汎用的な学習可能な損失目標を提案する。
• 参考スコア（独自算出の注目度）: 41.426199533072044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are powerful tools for representation learning, but can easily overfit to noisy labels which are prevalent in many real-world scenarios. Generally, noisy supervision could stem from variation among labelers, label corruption by adversaries, etc. To combat such label noises, one popular line of approach is to apply customized weights to the training instances, so that the corrupted examples contribute less to the model learning. However, such learning mechanisms potentially erase important information about the data distribution and therefore yield suboptimal results. To leverage useful information from the corrupted instances, an alternative is the bootstrapping loss, which reconstructs new training targets on-the-fly by incorporating the network's own predictions (i.e., pseudo-labels). In this paper, we propose a more generic learnable loss objective which enables a joint reweighting of instances and labels at once. Specifically, our method dynamically adjusts the per-sample importance weight between the real observed labels and pseudo-labels, where the weights are efficiently determined in a meta process. Compared to the previous instance reweighting methods, our approach concurrently conducts implicit relabeling, and thereby yield substantial improvements with almost no extra cost. Extensive experimental results demonstrated the strengths of our approach over existing methods on multiple natural and medical image benchmark datasets, including CIFAR-10, CIFAR-100, ISIC2019 and Clothing 1M. The code is publicly available at https://github.com/yuyinzhou/L2B.
• Abstract（参考訳）: ディープニューラルネットワークは、表現学習のための強力なツールだが、現実の多くのシナリオでよく見られるノイズの多いラベルに簡単に適合できる。 一般的に、騒々しい監視は、ラベルのバリエーション、敵によるラベルの破損などに起因する可能性がある。 このようなラベルノイズに対処するためには、トレーニングインスタンスにカスタマイズされた重みを適用して、破損した例がモデル学習に寄与しないようにするのが一般的なアプローチである。 しかし、そのような学習機構は、データ分布に関する重要な情報を消去し、従って準最適結果をもたらす可能性がある。 破損したインスタンスから有用な情報を活用するために、ネットワーク自身の予測(擬似ラベル)を組み込むことで、新たなトレーニングターゲットをオンザフライで再構築するブートストラップロスがある。 本稿では,インスタンスとラベルの同時重み付けを可能にする,より汎用的な学習可能な損失目標を提案する。 具体的には,実測ラベルと擬似ラベル間のサンプルごとの重み付けを動的に調整し,その重み付けをメタプロセスで効率的に決定する。 従来のインスタンス再重み付け手法と比較して,提案手法は暗黙のレバリングを同時に行うため,ほぼ余分なコストで大幅な改善が得られた。 広範な実験結果から,cifar-10,cifar-100,isic2019,wears 1mなど,複数の自然画像および医用画像ベンチマークデータセットにおける既存手法に対する我々のアプローチの強みが示された。 コードはhttps://github.com/yuyinzhou/L2Bで公開されている。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• SSB: Simple but Strong Baseline for Boosting Performance of Open-Set Semi-Supervised Learning [106.46648817126984]
  本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。 目標は、inlierを正しく分類し、outlierを検知することである。 信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
  論文  参考訳（メタデータ） (2023-11-17T15:14:40Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
  エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。 これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。 結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
  論文  参考訳（メタデータ） (2021-04-17T22:49:12Z)
• Pseudo-Representation Labeling Semi-Supervised Learning [0.0]
  近年、半教師付き学習は、ラベルのないデータを活用してディープラーニングモデルの性能向上に成功している。 本研究は、擬似ラベル付け技術を用いて少量の未ラベルデータを反復的にラベル付けし、それらをトレーニングデータとして使用する、シンプルで柔軟なフレームワークである擬似表現ラベリングを提案する。 従来の手法と比較して、擬似表現ラベリングはより直感的であり、現実世界の実践的な問題を効果的に解決することができる。
  論文  参考訳（メタデータ） (2020-05-31T03:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。