論文の概要: Contrastive Representations for Label Noise Require Fine-Tuning

• arxiv url: http://arxiv.org/abs/2108.09154v1
• Date: Fri, 20 Aug 2021 12:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 17:20:32.356916
• Title: Contrastive Representations for Label Noise Require Fine-Tuning
• Title（参考訳）: 微調整を必要とするラベル騒音のコントラスト表現
• Authors: Pierre Nodet and Vincent Lemaire and Alexis Bondu and Antoine Cornu\'ejols
• Abstract要約: コントラスト表現の微調整により、6つのメソッドはエンドツーエンドの学習よりも優れた結果が得られる。 実験は、ノイズレベルに対して顕著に安定している。
• 参考スコア（独自算出の注目度）: 0.028675177318965035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we show that the combination of a Contrastive representation with a label noise-robust classification head requires fine-tuning the representation in order to achieve state-of-the-art performances. Since fine-tuned representations are shown to outperform frozen ones, one can conclude that noise-robust classification heads are indeed able to promote meaningful representations if provided with a suitable starting point. Experiments are conducted to draw a comprehensive picture of performances by featuring six methods and nine noise instances of three different kinds (none, symmetric, and asymmetric). In presence of noise the experiments show that fine tuning of Contrastive representation allows the six methods to achieve better results than end-to-end learning and represent a new reference compare to the recent state of art. Results are also remarkable stable versus the noise level.
• Abstract（参考訳）: 本稿では,ラベルノイズロバスト分類ヘッドと対比表現の組み合わせにより,最新の性能を実現するためには,表現の微調整が必要となることを示す。 微調整された表現が凍った表現よりも優れていることが示されるので、適切な出発点が与えられた場合、ノイズロバスト分類ヘッドは確かに有意義な表現を促進することができると結論付けることができる。 6つの方法と9つの異なる種類のノイズインスタンス(1つ、対称、非対称)を特徴とする総合的なパフォーマンス図を作成する実験を行った。 雑音の存在下では、コントラスト表現の微調整により、6つの方法がエンドツーエンド学習よりも優れた結果を得ることができ、最新の技術との比較で新しい参照を表現することができることを示した。 結果もノイズレベルに対して顕著に安定している。

関連論文リスト

• Classification-Denoising Networks [6.783232060611113]
  画像分類と認知は、堅牢性の欠如や条件情報の部分的に無視という相補的な問題に悩まされる。 両タスクを(ノイズの多い)画像とクラスラベルの結合確率のモデルで統一することで緩和できると論じる。 CIFAR-10とImageNetの数値実験は、競合する分類とノイズ発生性能を示している。
  論文  参考訳（メタデータ） (2024-10-04T15:20:57Z)
• Vision-Language Models are Strong Noisy Label Detectors [76.07846780815794]
  本稿では、視覚言語モデルに適応するためのDeFTと呼ばれるDenoising Fine-Tuningフレームワークを提案する。 DeFTは、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴のロバストなアライメントを利用して、ノイズの多いラベルを抽出する。 7つの合成および実世界のノイズデータセットの実験結果から,ノイズラベル検出と画像分類の両方においてDeFTの有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-29T12:55:17Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• MarginNCE: Robust Sound Localization with a Negative Margin [23.908770938403503]
  本研究の目的は,自己教師型アプローチによる視覚シーンにおける音源のローカライズである。 コントラスト学習において、より厳密な決定境界を用いることで、音源定位における雑音対応の効果を軽減できることを示す。
  論文  参考訳（メタデータ） (2022-11-03T16:44:14Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video Parsing [52.2231419645482]
  本稿では,弱教師付き音声・視覚ビデオ解析タスクについて述べる。 それぞれのモードに属する全ての事象を認識し、時間的境界をローカライズすることを目的としている。
  論文  参考訳（メタデータ） (2022-04-25T11:41:17Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Analysing the Noise Model Error for Realistic Noisy Label Data [14.766574408868806]
  本研究では,ノイズモデルの予測誤差を導出して,理論的な側面から推定ノイズモデルの品質について検討する。 NLPドメインから新たなノイズラベルデータセットであるNoisyNERも公開しています。
  論文  参考訳（メタデータ） (2021-01-24T17:45:15Z)
• Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
  我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。 学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。 筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
  論文  参考訳（メタデータ） (2020-09-15T12:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。