論文の概要: Jump-teaching: Ultra Efficient and Robust Learning with Noisy Label
- arxiv url: http://arxiv.org/abs/2405.17137v1
- Date: Mon, 27 May 2024 12:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 15:22:54.650606
- Title: Jump-teaching: Ultra Efficient and Robust Learning with Noisy Label
- Title（参考訳）: Jump-Teaching: ノイズラベルによる超効率的かつロバストな学習
- Authors: Kangye Ji, Fei Cheng, Zeqing Wang, Bohu Huang,
- Abstract要約: そこで本研究では,トレーニング中のラベルのずれを識別する新しい手法を提案する。
インタープレイを分離し、損失からより多くのセマンティック情報をマイニングするために、ジャンプ方式の更新を行うネットワークは1つだけです。
提案手法は, ピークメモリフットプリントの高速化, ピークメモリフットプリントの0.56タイム, 各種ノイズ設定による最先端処理よりも優れたロバスト性を実現する。
- 参考スコア（独自算出の注目度）: 6.818488262543482
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sample selection is the most straightforward technique to combat label noise, aiming to distinguish mislabeled samples during training and avoid the degradation of the robustness of the model. In the workflow, $\textit{selecting possibly clean data}$ and $\textit{model update}$ are iterative. However, their interplay and intrinsic characteristics hinder the robustness and efficiency of learning with noisy labels: 1)~The model chooses clean data with selection bias, leading to the accumulated error in the model update. 2) Most selection strategies leverage partner networks or supplementary information to mitigate label corruption, albeit with increased computation resources and lower throughput speed. Therefore, we employ only one network with the jump manner update to decouple the interplay and mine more semantic information from the loss for a more precise selection. Specifically, the selection of clean data for each model update is based on one of the prior models, excluding the last iteration. The strategy of model update exhibits a jump behavior in the form. Moreover, we map the outputs of the network and labels into the same semantic feature space, respectively. In this space, a detailed and simple loss distribution is generated to distinguish clean samples more effectively. Our proposed approach achieves almost up to $2.53\times$ speedup, $0.46\times$ peak memory footprint, and superior robustness over state-of-the-art works with various noise settings.
- Abstract（参考訳）: サンプル選択はラベルノイズに対処する最も簡単な手法であり、トレーニング中に誤ラベル付きサンプルを識別し、モデルの堅牢性の低下を避けることを目的としている。
ワークフローでは、$\textit{selecting potentially clean data}$と$\textit{model update}$が反復的である。
しかし、それらの相互作用と本質的な特徴は、ノイズラベルによる学習の堅牢性と効率を阻害する: 1)~モデルが選択バイアスでクリーンなデータを選択し、モデル更新におけるエラーの蓄積につながる。
2)ほとんどの選択戦略はパートナーネットワークや補助情報を利用してラベルの破損を軽減し,計算資源の増大とスループットの低下を図っている。
そこで我々は,ジャンプ方式の更新を施した1つのネットワークのみを用いて,対話を分離し,より正確な選択のために,損失からより多くの意味情報をマイニングする。
具体的には、各モデル更新のためのクリーンなデータの選択は、前回のイテレーションを除いて、前のモデルの1つに基づいています。
モデル更新の戦略は、フォームでジャンプ動作を示す。
さらに,ネットワークとラベルの出力をそれぞれ同じ意味的特徴空間にマッピングする。
この空間では、より効果的にクリーンサンプルを識別するために、詳細で単純な損失分布が生成される。
提案手法は,ピークメモリフットプリントを最大2.53\times$スピードアップ,0.46\times$ピークメモリフットプリントを実現し,各種ノイズ設定による最先端作業よりも優れたロバスト性を実現する。
関連論文リスト
- Verifix: Post-Training Correction to Improve Label Noise Robustness with
Verified Samples [9.91998873101083]
トレーニング後の補正は、初期訓練後のモデルパラメータを調整し、ラベルノイズを軽減する。
Verifixは、小さな検証済みのデータセットを利用して、1回の更新でモデルの重みを補正する新しいアルゴリズムである。
25%の合成汚職を伴うCIFARデータセットの実験では、平均して7.36%の一般化改善が見られた。
論文 参考訳（メタデータ） (2024-03-13T15:32:08Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳（メタデータ） (2023-01-02T07:13:28Z) - Learning to Detect Noisy Labels Using Model-Based Features [16.681748918518075]
Select-Enhanced Noisy label Training (SENT)を提案する。
SENTは、データ駆動の柔軟性を保ちながら、メタ学習に依存しない。
自己学習とラベルの破損の設定の下で、強力なベースラインよりもパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2022-12-28T10:12:13Z) - UNICON: Combating Label Noise Through Uniform Selection and Contrastive
Learning [89.56465237941013]
UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。
90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
論文 参考訳（メタデータ） (2022-03-28T07:36:36Z) - L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。
モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。
これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
論文 参考訳（メタデータ） (2022-02-09T05:57:08Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - Robust Deep Learning from Crowds with Belief Propagation [6.643082745560235]
ワーカとタスク間のローカル依存関係を表すグラフィカルモデルは、ノイズの多い回答から真のラベルを推論する原則的な方法を提供する。
多くの場合、本当のラベルではなく、クラウドソースされたデータセットから直接、目に見えないデータに取り組んでいる予測モデルが必要です。
本稿では,ニューラルネットワークがタスク特徴から真のラベルを生成する新しいデータ生成プロセスを提案する。
論文 参考訳（メタデータ） (2021-11-01T07:20:16Z) - Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。
これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。
結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
論文 参考訳（メタデータ） (2021-04-17T22:49:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。