論文の概要: Learning from Data with Noisy Labels Using Temporal Self-Ensemble
- arxiv url: http://arxiv.org/abs/2207.10354v1
- Date: Thu, 21 Jul 2022 08:16:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:10:13.883763
- Title: Learning from Data with Noisy Labels Using Temporal Self-Ensemble
- Title（参考訳）: 時間的自己感覚を用いた雑音ラベルデータからの学習
- Authors: Jun Ho Lee, Jae Soon Baik, Tae Hwan Hwang, and Jun Won Choi
- Abstract要約: ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 11.245833546360386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There are inevitably many mislabeled data in real-world datasets. Because
deep neural networks (DNNs) have an enormous capacity to memorize noisy labels,
a robust training scheme is required to prevent labeling errors from degrading
the generalization performance of DNNs. Current state-of-the-art methods
present a co-training scheme that trains dual networks using samples associated
with small losses. In practice, however, training two networks simultaneously
can burden computing resources. In this study, we propose a simple yet
effective robust training scheme that operates by training only a single
network. During training, the proposed method generates temporal self-ensemble
by sampling intermediate network parameters from the weight trajectory formed
by stochastic gradient descent optimization. The loss sum evaluated with these
self-ensembles is used to identify incorrectly labeled samples. In parallel,
our method generates multi-view predictions by transforming an input data into
various forms and considers their agreement to identify incorrectly labeled
samples. By combining the aforementioned metrics, we present the proposed {\it
self-ensemble-based robust training} (SRT) method, which can filter the samples
with noisy labels to reduce their influence on training. Experiments on
widely-used public datasets demonstrate that the proposed method achieves a
state-of-the-art performance in some categories without training the dual
networks.
- Abstract（参考訳）: 実世界のデータセットには必然的に多くの誤ったラベルデータがある。
ディープニューラルネットワーク(DNN)にはノイズラベルを記憶する膨大な能力があるため、ラベル付けエラーによるDNNの一般化性能の低下を防止するための堅牢なトレーニングスキームが必要である。
現在の最先端手法では、小さな損失を伴うサンプルを使ってデュアルネットワークを訓練する共同学習方式が提案されている。
しかし実際には、2つのネットワークを同時にトレーニングすることは、コンピューティングリソースを負担する可能性がある。
本研究では,単一のネットワークのみを訓練することにより,簡便かつ効果的なロバストなトレーニング方式を提案する。
提案手法は,確率的勾配降下最適化により生成した重み軌道から中間ネットワークパラメータをサンプリングし,時間的自己感覚を生成する。
これらの自己センブルで評価された損失和は、誤ってラベルづけされたサンプルを特定するために使用される。
並列に,入力データを様々な形式に変換し,誤ラベル付きサンプルを特定することで,多視点予測を生成する。
上記の指標を組み合わせることで,サンプルをノイズラベルでフィルタし,トレーニングへの影響を低減できるSRT法を提案する。
広範に利用されている公開データセットの実験により,提案手法は2つのネットワークを訓練することなく,いくつかのカテゴリで最先端のパフォーマンスを実現することを示した。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - An unfolding method based on conditional Invertible Neural Networks
(cINN) using iterative training [0.0]
非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。
模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
論文 参考訳（メタデータ） (2022-12-16T19:00:05Z) - CrossSplit: Mitigating Label Noise Memorization through Data Splitting [25.344386272010397]
そこで我々はCrossSplitと呼ばれるノイズラベルの記憶を緩和するための新しいトレーニング手法を提案する。
CIFAR-10, CIFAR-100, Tiny-ImageNet, およびmini-WebVisionデータセットを用いた実験により, 本手法は幅広いノイズ比において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-12-03T19:09:56Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。
ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。
注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文 参考訳（メタデータ） (2022-02-28T18:50:10Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳（メタデータ） (2022-02-27T23:06:31Z) - Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。
既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。
しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
論文 参考訳（メタデータ） (2021-12-30T09:20:07Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。
複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-02-18T06:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。