論文の概要: Noisy Concurrent Training for Efficient Learning under Label Noise
- arxiv url: http://arxiv.org/abs/2009.08325v1
- Date: Thu, 17 Sep 2020 14:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:42:22.783139
- Title: Noisy Concurrent Training for Efficient Learning under Label Noise
- Title（参考訳）: ラベル雑音下での効率的な学習のための雑音同時学習
- Authors: Fahad Sarfraz, Elahe Arani and Bahram Zonooz
- Abstract要約: ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。
我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。
協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
- 参考スコア（独自算出の注目度）: 13.041607703862724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) fail to learn effectively under label noise and
have been shown to memorize random labels which affect their generalization
performance. We consider learning in isolation, using one-hot encoded labels as
the sole source of supervision, and a lack of regularization to discourage
memorization as the major shortcomings of the standard training procedure.
Thus, we propose Noisy Concurrent Training (NCT) which leverages collaborative
learning to use the consensus between two models as an additional source of
supervision. Furthermore, inspired by trial-to-trial variability in the brain,
we propose a counter-intuitive regularization technique, target variability,
which entails randomly changing the labels of a percentage of training samples
in each batch as a deterrent to memorization and over-generalization in DNNs.
Target variability is applied independently to each model to keep them diverged
and avoid the confirmation bias. As DNNs tend to prioritize learning simple
patterns first before memorizing the noisy labels, we employ a dynamic learning
scheme whereby as the training progresses, the two models increasingly rely
more on their consensus. NCT also progressively increases the target
variability to avoid memorization in later stages. We demonstrate the
effectiveness of our approach on both synthetic and real-world noisy benchmark
datasets.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)はラベルノイズ下で効果的に学習できず、一般化性能に影響を与えるランダムラベルを記憶することが示されている。
我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考える。
そこで本研究では,協調学習を活用し,2モデル間のコンセンサスを追加の監督源として活用する,雑音を伴う同時学習(nct)を提案する。
さらに,脳内における試行錯誤正規化手法であるtarget variabilityを提案し,dnnにおける記憶と過一般化の抑止力として,各バッチ内のトレーニングサンプルのラベルをランダムに変更することを含む。
ターゲットの変動性は各モデルに独立して適用され、分岐を保ち、確認バイアスを回避する。
DNNは、ノイズの多いラベルを記憶する前に、まず単純なパターンの学習を優先する傾向にあるため、トレーニングが進むにつれて、2つのモデルがコンセンサスにますます依存する動的な学習方式を採用する。
nctはまた、後段の記憶を避けるために目標変動を徐々に増加させる。
提案手法の有効性を,合成および実世界の雑音のベンチマークデータセットで示す。
関連論文リスト
- Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement [5.865750284677784]
敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。
AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。
本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
論文 参考訳（メタデータ） (2024-03-14T04:48:31Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - MILD: Modeling the Instance Learning Dynamics for Learning with Noisy
Labels [19.650299232829546]
クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。
特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。
我々の戦略は既存の雑音ラベル学習方法より優れている。
論文 参考訳（メタデータ） (2023-06-20T14:26:53Z) - CNTN: Cyclic Noise-tolerant Network for Gait Recognition [12.571029673961315]
歩行認識は、歩行パターンを認識することによって個人を識別することを目的としている。
従来の歩行認識法のほとんどは、2つの暗記効果、すなわち外見の暗記とラベルのノイズの暗記により著しく劣化する。
初めてノイズゲイト認識が研究され、循環学習アルゴリズムを用いてサイクリックノイズ耐性ネットワーク(CNTN)が提案される。
論文 参考訳（メタデータ） (2022-10-13T11:23:58Z) - Improving Distantly-Supervised Named Entity Recognition with
Self-Collaborative Denoising Learning [9.747173655999427]
SCDL(Self-Collaborative Denoising Learning)という,堅牢な学習パラダイムを提案する。
SCDLは、2つの教師学生ネットワークを相互に便宜的に訓練し、ノイズの多いラベル精製を反復的に行う。
5つの実世界のデータセットに対する大規模な実験結果から、SCDLは最先端のDS-NER復調法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-09T01:45:03Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-09-10T17:19:56Z) - Two-phase Pseudo Label Densification for Self-training based Domain
Adaptation [93.03265290594278]
TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。
第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。
第2フェーズでは,信頼度に基づく容易な分類を行う。
トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
論文 参考訳（メタデータ） (2020-12-09T02:35:25Z) - Early-Learning Regularization Prevents Memorization of Noisy Labels [29.04549895470588]
本稿では,ノイズの多いアノテーションの存在下で,ディープラーニングによる分類を行うための新しいフレームワークを提案する。
深層ニューラルネットワークは、"早期学習"フェーズにおいて、トレーニングデータをクリーンなラベルに適合させることが観察されている。
我々は、これらの目標に向けてモデルを操る正規化用語を設計し、偽ラベルの記憶を暗黙的に防止する。
論文 参考訳（メタデータ） (2020-06-30T23:46:33Z) - DMT: Dynamic Mutual Training for Semi-Supervised Learning [69.17919491907296]
自己学習法は通常、低信頼の擬似ラベルをフィルタリングするために単一のモデル予測の信頼性に依存する。
動的相互学習と呼ばれる動的に再重み付けされた損失関数を用いて、2つの異なるモデル間の相互学習を提案する。
実験の結果,DMTは画像分類とセマンティックセグメンテーションの両方において最先端の性能を実現することがわかった。
論文 参考訳（メタデータ） (2020-04-18T03:12:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。