論文の概要: Meta Soft Label Generation for Noisy Labels

• arxiv url: http://arxiv.org/abs/2007.05836v2
• Date: Tue, 19 Jan 2021 09:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 12:48:52.447404
• Title: Meta Soft Label Generation for Noisy Labels
• Title（参考訳）: 雑音ラベルのためのメタソフトラベル生成
• Authors: G\"orkem Algan, Ilkay Ulusoy
• Abstract要約: 我々はMSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案する。 MSLGはメタラーニング技術を用いてソフトラベルを共同で生成できる。 我々の手法は、他の最先端の手法よりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existence of noisy labels in the dataset causes significant performance degradation for deep neural networks (DNNs). To address this problem, we propose a Meta Soft Label Generation algorithm called MSLG, which can jointly generate soft labels using meta-learning techniques and learn DNN parameters in an end-to-end fashion. Our approach adapts the meta-learning paradigm to estimate optimal label distribution by checking gradient directions on both noisy training data and noise-free meta-data. In order to iteratively update soft labels, meta-gradient descent step is performed on estimated labels, which would minimize the loss of noise-free meta samples. In each iteration, the base classifier is trained on estimated meta labels. MSLG is model-agnostic and can be added on top of any existing model at hand with ease. We performed extensive experiments on CIFAR10, Clothing1M and Food101N datasets. Results show that our approach outperforms other state-of-the-art methods by a large margin.
• Abstract（参考訳）: データセットにノイズラベルが存在することで、ディープニューラルネットワーク(DNN)のパフォーマンスが大幅に低下する。 この問題を解決するために,メタ学習技術を用いてソフトラベルを共同生成し,DNNパラメータをエンドツーエンドで学習するメタソフトラベル生成アルゴリズムMSLGを提案する。 提案手法は,ノイズのないトレーニングデータとノイズのないメタデータの両方の勾配方向をチェックすることで,最適なラベル分布を推定するメタ学習パラダイムを適用している。 ソフトラベルを反復的に更新するために、推定ラベル上でメタ勾配降下ステップを行い、ノイズフリーなメタサンプルの損失を最小限に抑える。 各イテレーションでは、ベース分類器は推定されたメタラベルに基づいてトレーニングされる。 MSLGはモデルに依存しないため、既存のモデルの上に簡単に追加することができる。 CIFAR10, Clothing1MおよびFood101Nデータセットについて広範な実験を行った。 その結果,本手法は最先端の手法よりも大きなマージンで優れていることがわかった。

関連論文リスト

• BatMan-CLR: Making Few-shots Meta-Learners Resilient Against Label Noise [5.67944073225624]
  本稿では,ラベルノイズのレベル変化がメタラーナーの性能に及ぼす影響を初めて解析する。 メタトレーニングがラベルノイズの影響を受ければ,OmniglotおよびCifarFSデータセット上でReptile,iMAML,foMAMLの精度が最大42%低下することを示す。 そこで本研究では,ノイズの多い教師付き学習者から半教師付き学習者へ変換する2つのサンプリング手法,すなわち,多様体(Man)とバッチ多様体(BatMan)を提案する。
  論文  参考訳（メタデータ） (2023-09-12T08:30:35Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Learning from Noisy Labels with Decoupled Meta Label Purifier [33.87292143223425]
  ディープニューラルネットワークをノイズラベルでトレーニングすることは、DNNが不正確なラベルを容易に記憶できるため、難しい。 本稿では,DMLPと呼ばれる新しい多段ラベル浄化器を提案する。 DMLPはラベル訂正プロセスをラベルなし表現学習と単純なメタラベル精製器に分離する。
  論文  参考訳（メタデータ） (2023-02-14T03:39:30Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• MetaLabelNet: Learning to Generate Soft-Labels from Noisy-Labels [0.20305676256390928]
  現実世界のデータセットはノイズの多いラベルを持ち、ディープニューラルネットワーク(dnn)のパフォーマンスに悪影響を及ぼす。 本稿では,ベース分類器を,メタ目的に応じて生成するソフトラベル上で学習するラベル雑音ロバスト学習アルゴリズムを提案する。 我々のアルゴリズムは、少量のクリーンデータをメタデータとして使用し、多くのケースで無益に取得できる。
  論文  参考訳（メタデータ） (2021-03-19T15:47:44Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Semi-supervised Relation Extraction via Incremental Meta Self-Training [56.633441255756075]
  半教師付き関係抽出法は,限られたサンプルからの学習に加え,ラベルのないデータを活用することを目的としている。 既存の自己学習手法は段階的なドリフト問題に悩まされ、未ラベルデータにノイズのある擬似ラベルが組み込まれている。 本稿では,リレーショナルラベル生成ネットワークが,メタオブジェクトとしてリレーショナル分類ネットワークを成功・失敗に導くことによって,擬似ラベルの品質評価を生成するメタSREという手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T03:54:11Z)
• Learning Soft Labels via Meta Learning [3.4852307714135375]
  シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 そこで我々は,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 本研究では, 学習ラベルがクラス間の意味的関係を捉え, 蒸留の下流作業における教師モデルを改善することを示す。
  論文  参考訳（メタデータ） (2020-09-20T18:42:13Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。