論文の概要: Contrastive Representations for Label Noise Require Fine-Tuning
- arxiv url: http://arxiv.org/abs/2108.09154v1
- Date: Fri, 20 Aug 2021 12:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-23 17:20:32.356916
- Title: Contrastive Representations for Label Noise Require Fine-Tuning
- Title(参考訳): 微調整を必要とするラベル騒音のコントラスト表現
- Authors: Pierre Nodet and Vincent Lemaire and Alexis Bondu and Antoine
Cornu\'ejols
- Abstract要約: コントラスト表現の微調整により、6つのメソッドはエンドツーエンドの学習よりも優れた結果が得られる。
実験は、ノイズレベルに対して顕著に安定している。
- 参考スコア(独自算出の注目度): 0.028675177318965035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we show that the combination of a Contrastive representation
with a label noise-robust classification head requires fine-tuning the
representation in order to achieve state-of-the-art performances. Since
fine-tuned representations are shown to outperform frozen ones, one can
conclude that noise-robust classification heads are indeed able to promote
meaningful representations if provided with a suitable starting point.
Experiments are conducted to draw a comprehensive picture of performances by
featuring six methods and nine noise instances of three different kinds (none,
symmetric, and asymmetric). In presence of noise the experiments show that fine
tuning of Contrastive representation allows the six methods to achieve better
results than end-to-end learning and represent a new reference compare to the
recent state of art. Results are also remarkable stable versus the noise level.
- Abstract(参考訳): 本稿では,ラベルノイズロバスト分類ヘッドと対比表現の組み合わせにより,最新の性能を実現するためには,表現の微調整が必要となることを示す。
微調整された表現が凍った表現よりも優れていることが示されるので、適切な出発点が与えられた場合、ノイズロバスト分類ヘッドは確かに有意義な表現を促進することができると結論付けることができる。
6つの方法と9つの異なる種類のノイズインスタンス(1つ、対称、非対称)を特徴とする総合的なパフォーマンス図を作成する実験を行った。
雑音の存在下では、コントラスト表現の微調整により、6つの方法がエンドツーエンド学習よりも優れた結果を得ることができ、最新の技術との比較で新しい参照を表現することができることを示した。
結果もノイズレベルに対して顕著に安定している。
関連論文リスト
- MarginNCE: Robust Sound Localization with a Negative Margin [23.908770938403503]
本研究の目的は,自己教師型アプローチによる視覚シーンにおける音源のローカライズである。
コントラスト学習において、より厳密な決定境界を用いることで、音源定位における雑音対応の効果を軽減できることを示す。
論文 参考訳(メタデータ) (2022-11-03T16:44:14Z) - Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。
サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。
本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
論文 参考訳(メタデータ) (2022-10-11T10:47:28Z) - Combating Noisy Labels in Long-Tailed Image Classification [33.40963778043824]
本稿では,長期分布とラベルノイズの両方を用いて,画像分類課題に早期に取り組む。
既存のノイズキャンバス学習手法では, ノイズの多いサンプルをテールクラスのクリーンなサンプルと区別することが難しいため, このシナリオでは機能しない。
本稿では,弱いデータと強いデータに対する推測の一致に基づく新しい学習パラダイムを提案し,ノイズのあるサンプルをスクリーニングする。
論文 参考訳(メタデータ) (2022-09-01T07:31:03Z) - Centrality and Consistency: Two-Stage Clean Samples Identification for
Learning with Instance-Dependent Noisy Labels [87.48541631675889]
本稿では,2段階のクリーンサンプル識別手法を提案する。
まず,クリーンサンプルの早期同定にクラスレベルの特徴クラスタリング手法を用いる。
次に, 基底真理クラス境界に近い残余のクリーンサンプルについて, 一貫性に基づく新しい分類法を提案する。
論文 参考訳(メタデータ) (2022-07-29T04:54:57Z) - Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video
Parsing [52.2231419645482]
本稿では,弱教師付き音声・視覚ビデオ解析タスクについて述べる。
それぞれのモードに属する全ての事象を認識し、時間的境界をローカライズすることを目的としている。
論文 参考訳(メタデータ) (2022-04-25T11:41:17Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳(メタデータ) (2022-01-12T05:24:29Z) - Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。
本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
論文 参考訳(メタデータ) (2021-06-21T07:15:50Z) - Training Classifiers that are Universally Robust to All Label Noise
Levels [91.13870793906968]
ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。
ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。
我々の枠組みは概して中~高騒音レベルにおいて優れています。
論文 参考訳(メタデータ) (2021-05-27T13:49:31Z) - Analysing the Noise Model Error for Realistic Noisy Label Data [14.766574408868806]
本研究では,ノイズモデルの予測誤差を導出して,理論的な側面から推定ノイズモデルの品質について検討する。
NLPドメインから新たなノイズラベルデータセットであるNoisyNERも公開しています。
論文 参考訳(メタデータ) (2021-01-24T17:45:15Z) - Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。
擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。
連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
論文 参考訳(メタデータ) (2020-10-20T10:41:37Z) - Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。
学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。
筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
論文 参考訳(メタデータ) (2020-09-15T12:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。