論文の概要: Learning to Bootstrap for Combating Label Noise
- arxiv url: http://arxiv.org/abs/2202.04291v1
- Date: Wed, 9 Feb 2022 05:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 15:43:29.370805
- Title: Learning to Bootstrap for Combating Label Noise
- Title(参考訳): ラベルノイズ対策のためのブートストラップ学習
- Authors: Yuyin Zhou, Xianhang Li, Fengze Liu, Xuxi Chen, Lequan Yu, Cihang Xie,
Matthew P. Lungren, Lei Xing
- Abstract要約: 騒々しい監視は ラベルのバリエーションや 敵によるラベルの腐敗など
ディープニューラルネットワークは表現学習のための強力なツールだが、ノイズの多いラベルに簡単に適合できる。
本稿では、インスタンスとラベルの同時再重み付けを可能にする、より汎用的な学習可能な損失目標を提案する。
- 参考スコア(独自算出の注目度): 41.426199533072044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are powerful tools for representation learning, but can
easily overfit to noisy labels which are prevalent in many real-world
scenarios. Generally, noisy supervision could stem from variation among
labelers, label corruption by adversaries, etc. To combat such label noises,
one popular line of approach is to apply customized weights to the training
instances, so that the corrupted examples contribute less to the model
learning. However, such learning mechanisms potentially erase important
information about the data distribution and therefore yield suboptimal results.
To leverage useful information from the corrupted instances, an alternative is
the bootstrapping loss, which reconstructs new training targets on-the-fly by
incorporating the network's own predictions (i.e., pseudo-labels).
In this paper, we propose a more generic learnable loss objective which
enables a joint reweighting of instances and labels at once. Specifically, our
method dynamically adjusts the per-sample importance weight between the real
observed labels and pseudo-labels, where the weights are efficiently determined
in a meta process. Compared to the previous instance reweighting methods, our
approach concurrently conducts implicit relabeling, and thereby yield
substantial improvements with almost no extra cost. Extensive experimental
results demonstrated the strengths of our approach over existing methods on
multiple natural and medical image benchmark datasets, including CIFAR-10,
CIFAR-100, ISIC2019 and Clothing 1M. The code is publicly available at
https://github.com/yuyinzhou/L2B.
- Abstract(参考訳): ディープニューラルネットワークは、表現学習のための強力なツールだが、現実の多くのシナリオでよく見られるノイズの多いラベルに簡単に適合できる。
一般的に、騒々しい監視は、ラベルのバリエーション、敵によるラベルの破損などに起因する可能性がある。
このようなラベルノイズに対処するためには、トレーニングインスタンスにカスタマイズされた重みを適用して、破損した例がモデル学習に寄与しないようにするのが一般的なアプローチである。
しかし、そのような学習機構は、データ分布に関する重要な情報を消去し、従って準最適結果をもたらす可能性がある。
破損したインスタンスから有用な情報を活用するために、ネットワーク自身の予測(擬似ラベル)を組み込むことで、新たなトレーニングターゲットをオンザフライで再構築するブートストラップロスがある。
本稿では,インスタンスとラベルの同時重み付けを可能にする,より汎用的な学習可能な損失目標を提案する。
具体的には,実測ラベルと擬似ラベル間のサンプルごとの重み付けを動的に調整し,その重み付けをメタプロセスで効率的に決定する。
従来のインスタンス再重み付け手法と比較して,提案手法は暗黙のレバリングを同時に行うため,ほぼ余分なコストで大幅な改善が得られた。
広範な実験結果から,cifar-10,cifar-100,isic2019,wears 1mなど,複数の自然画像および医用画像ベンチマークデータセットにおける既存手法に対する我々のアプローチの強みが示された。
コードはhttps://github.com/yuyinzhou/L2Bで公開されている。
関連論文リスト
- ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳(メタデータ) (2023-12-13T17:59:07Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳(メタデータ) (2023-05-25T08:19:31Z) - Learning advisor networks for noisy image classification [22.77447144331876]
本稿では,画像分類におけるノイズラベルの問題に対処するためのアドバイザネットワークの概念を紹介する。
私たちはメタラーニング戦略でそれをトレーニングし、メインモデルのトレーニングを通じて適応できるようにしました。
我々はCIFAR10とCIFAR100を合成雑音で試験し,実環境雑音を含むCrothing1Mを用いて最先端の結果を報告する。
論文 参考訳(メタデータ) (2022-11-08T11:44:08Z) - Weighted Distillation with Unlabeled Examples [15.825078347452024]
ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。
本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
論文 参考訳(メタデータ) (2022-10-13T04:08:56Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳(メタデータ) (2022-02-27T23:06:31Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳(メタデータ) (2021-01-14T05:43:51Z) - Improving Generalization by Controlling Label-Noise Information in
Neural Network Weights [33.85101318266319]
ノイズや誤ったラベルが存在する場合、ニューラルネットワークはノイズに関する情報を記憶する好ましくない傾向にある。
ドロップアウト、ウェイト崩壊、データ増大といった標準的な正則化技術は、時折役立つが、そのような振舞いを防げない。
任意のトレーニングアルゴリズムに対して、この項の低値はラベルノイズの記憶の減少とより良い境界の減少に対応していることを示す。
論文 参考訳(メタデータ) (2020-02-19T00:08:30Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳(メタデータ) (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。