論文の概要: BatMan-CLR: Making Few-shots Meta-Learners Resilient Against Label Noise
- arxiv url: http://arxiv.org/abs/2309.06046v1
- Date: Tue, 12 Sep 2023 08:30:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 13:50:50.874075
- Title: BatMan-CLR: Making Few-shots Meta-Learners Resilient Against Label Noise
- Title(参考訳): BatMan-CLR:ラベルノイズに耐性のあるメタラーナーを作る
- Authors: Jeroen M. Galjaard, Robert Birke, Juan Perez, Lydia Y. Chen
- Abstract要約: 本稿では,ラベルノイズのレベル変化がメタラーナーの性能に及ぼす影響を初めて解析する。
メタトレーニングがラベルノイズの影響を受ければ,OmniglotおよびCifarFSデータセット上でReptile,iMAML,foMAMLの精度が最大42%低下することを示す。
そこで本研究では,ノイズの多い教師付き学習者から半教師付き学習者へ変換する2つのサンプリング手法,すなわち,多様体(Man)とバッチ多様体(BatMan)を提案する。
- 参考スコア(独自算出の注目度): 5.67944073225624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The negative impact of label noise is well studied in classical supervised
learning yet remains an open research question in meta-learning. Meta-learners
aim to adapt to unseen learning tasks by learning a good initial model in
meta-training and consecutively fine-tuning it according to new tasks during
meta-testing. In this paper, we present the first extensive analysis of the
impact of varying levels of label noise on the performance of state-of-the-art
meta-learners, specifically gradient-based $N$-way $K$-shot learners. We show
that the accuracy of Reptile, iMAML, and foMAML drops by up to 42% on the
Omniglot and CifarFS datasets when meta-training is affected by label noise. To
strengthen the resilience against label noise, we propose two sampling
techniques, namely manifold (Man) and batch manifold (BatMan), which transform
the noisy supervised learners into semi-supervised ones to increase the utility
of noisy labels. We first construct manifold samples of $N$-way
$2$-contrastive-shot tasks through augmentation, learning the embedding via a
contrastive loss in meta-training, and then perform classification through
zeroing on the embedding in meta-testing. We show that our approach can
effectively mitigate the impact of meta-training label noise. Even with 60%
wrong labels \batman and \man can limit the meta-testing accuracy drop to
${2.5}$, ${9.4}$, ${1.1}$ percent points, respectively, with existing
meta-learners across the Omniglot, CifarFS, and MiniImagenet datasets.
- Abstract(参考訳): ラベルノイズのネガティブな影響は古典的教師付き学習においてよく研究されているが、メタラーニングにおけるオープンな研究課題である。
meta-learnerは、メタトレーニングで良い初期モデルを学び、メタテスト中に新しいタスクに従って連続的に微調整することで、目に見えない学習タスクに適応することを目指している。
本稿では,様々なレベルのラベルノイズが,最新メタ学習者,特に勾配に基づく$N$-way $K$-shot学習者のパフォーマンスに与える影響を,初めて広範囲に分析する。
メタトレーニングがラベルノイズの影響を受ければ,OmniglotおよびCifarFSデータセット上でReptile,iMAML,foMAMLの精度が最大42%低下することを示す。
ラベルノイズに対するレジリエンスを強化するために,ノイズ教師付き学習者を半教師付きに変換し,ノイズラベルの有用性を高めるための2つのサンプリング手法,man(man)とbatman(batman)を提案する。
まず,N$-way 2$-contrastive-shotタスクの多様体サンプルを構築し,メタトレーニングにおける対照的な損失を通じて埋め込みを学習し,メタテストにおける埋め込みをゼロにすることで分類を行う。
提案手法は,メタ学習ラベルノイズの影響を効果的に緩和できることを示す。
60%の間違ったラベル \batman と \man であっても、Omniglot、CifarFS、MiniImagenet データセットにまたがる既存のメタラーナーで、それぞれ${2.5}$、${9.4}$、${1.1}$パーセントの値にメタテストの精度の低下を制限できる。
関連論文リスト
- Enhanced Meta Label Correction for Coping with Label Corruption [3.6804038214708577]
本稿では,雑音ラベル問題を用いた学習のための拡張メタラベル補正手法を提案する。
TraditionalCは従来のアプローチより優れており、すべての標準ベンチマークで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-05-22T12:11:07Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - Robust Meta-learning with Sampling Noise and Label Noise via
Eigen-Reptile [78.1212767880785]
Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。
ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。
本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
論文 参考訳(メタデータ) (2022-06-04T08:48:02Z) - Negative Inner-Loop Learning Rates Learn Universal Features [0.0]
メタSGDにおける学習速度がタスクごとの特徴表現に与える影響について検討する。
負の学習速度は、特徴をタスク固有の特徴から切り離し、タスクに依存しない特徴へと押し上げる。
これはメタSGDの負の学習速度が、単にタスク固有の特徴に適応するのではなく、タスクに依存しない特徴を学習させるという仮説を裏付けるものである。
論文 参考訳(メタデータ) (2022-03-18T22:43:16Z) - Training Classifiers that are Universally Robust to All Label Noise
Levels [91.13870793906968]
ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。
ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。
我々の枠組みは概して中~高騒音レベルにおいて優れています。
論文 参考訳(メタデータ) (2021-05-27T13:49:31Z) - Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。
コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。
合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
論文 参考訳(メタデータ) (2020-12-08T15:01:54Z) - Meta Soft Label Generation for Noisy Labels [0.0]
我々はMSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案する。
MSLGはメタラーニング技術を用いてソフトラベルを共同で生成できる。
我々の手法は、他の最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2020-07-11T19:37:44Z) - Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
本研究では,新しいメタ遷移学習戦略を提案する。
具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。
本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
論文 参考訳(メタデータ) (2020-06-10T07:27:25Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳(メタデータ) (2020-02-16T09:12:27Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳(メタデータ) (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。