論文の概要: Demystifying How Self-Supervised Features Improve Training from Noisy Labels

• arxiv url: http://arxiv.org/abs/2110.09022v1
• Date: Mon, 18 Oct 2021 05:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:30:51.993981
• Title: Demystifying How Self-Supervised Features Improve Training from Noisy Labels
• Title（参考訳）: ノイズラベルによる学習を改善する自己監督機能
• Authors: Hao Cheng, Zhaowei Zhu, Xing Sun, Yang Liu
• Abstract要約: ネットワークがラベルノイズに抵抗する理由と自己教師機能について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。
• 参考スコア（独自算出の注目度）: 16.281091780103736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of self-supervised learning (SSL) motivates researchers to apply SSL on other tasks such as learning with noisy labels. Recent literature indicates that methods built on SSL features can substantially improve the performance of learning with noisy labels. Nonetheless, the deeper reasons why (and how) SSL features benefit the training from noisy labels are less understood. In this paper, we study why and how self-supervised features help networks resist label noise using both theoretical analyses and numerical experiments. Our result shows that, given a quality encoder pre-trained from SSL, a simple linear layer trained by the cross-entropy loss is theoretically robust to symmetric label noise. Further, we provide insights for how knowledge distilled from SSL features can alleviate the over-fitting problem. We hope our work provides a better understanding for learning with noisy labels from the perspective of self-supervised learning and can potentially serve as a guideline for further research. Code is available at github.com/UCSC-REAL/SelfSup_NoisyLabel.
• Abstract（参考訳）: 自己教師付き学習(SSL)の進歩は、研究者がノイズラベルによる学習など他のタスクにSSLを適用する動機となっている。 近年の文献では、ssl機能に基づく手法がノイズラベルを用いた学習性能を著しく向上させることが示唆されている。 それでも、SSL機能がノイズの多いラベルからのトレーニングに(そしてどのように)役立つのかは理解されていない。 本稿では,理論的解析と数値実験の両方を用いてラベルノイズに対する自己教師機能の効果について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。 さらに、SSL機能から抽出した知識が過度に適合する問題を緩和する方法についての洞察を提供する。 私たちの研究は、自己教師型学習の観点からノイズの多いラベルによる学習をより深く理解し、さらなる研究のガイドラインとして役立つことを願っています。 コードはgithub.com/UCSC-REAL/SelfSup_NoisyLabelで入手できる。

関連論文リスト

• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Memorization in Self-Supervised Learning Improves Downstream Generalization [49.42010047574022]
  自己教師付き学習(SSL)は、ラベルのないデータで純粋に高性能エンコーダを訓練する能力により、最近大きな注目を集めている。 SSL内での暗記を定義するためのフレームワークであるSSLMemを提案する。
  論文  参考訳（メタデータ） (2024-01-19T11:32:47Z)
• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations [28.511060004984895]
  ラベルのないデータから不変表現を学習するための拡張コントラスト型SSLフレームワークを提案する。 提案手法はラベルのない入力データに様々な摂動を適用し,コントラスト学習を用いて,そのような摂動に頑健な表現を学習する。
  論文  参考訳（メタデータ） (2021-12-21T02:50:53Z)
• Constrained Mean Shift for Representation Learning [17.652439157554877]
  我々は,新たな知識を活用できる非コントラスト表現学習法を開発した。 本研究の主な目的は,近傍の探索空間を制約することで平均シフトアルゴリズムを一般化することである。 本研究では,モダリティ間の雑音制約を利用して,自己教師付きビデオモデルのトレーニングを行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-19T23:14:23Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Understanding (Generalized) Label Smoothing when Learning with Noisy Labels [57.37057235894054]
  ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。 雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
  論文  参考訳（メタデータ） (2021-06-08T07:32:29Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。