論文の概要: Delving Deep into Simplicity Bias for Long-Tailed Image Recognition

• arxiv url: http://arxiv.org/abs/2302.03264v1
• Date: Tue, 7 Feb 2023 05:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:17:19.979250
• Title: Delving Deep into Simplicity Bias for Long-Tailed Image Recognition
• Title（参考訳）: 画像認識のための単純度バイアスの深層化
• Authors: Xiu-Shen Wei, Xuhao Sun, Yang Shen, Anqi Xu, Peng Wang, and Faen Zhang
• Abstract要約: 単純性バイアス(Simplicity Bias、SB)は、深層ニューラルネットワークが単純な予測パターンに依存しているが、教師付きタスクに適用した場合に複雑な特徴を無視する現象である。 本研究では,長尾画像認識におけるSBについて検討し,SBに苦しむ尾クラスがより重篤であることを示す。 不均衡データに適した自己教師付き学習(SSL)手法を提案する。
• 参考スコア（独自算出の注目度）: 26.406340693852375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simplicity Bias (SB) is a phenomenon that deep neural networks tend to rely favorably on simpler predictive patterns but ignore some complex features when applied to supervised discriminative tasks. In this work, we investigate SB in long-tailed image recognition and find the tail classes suffer more severely from SB, which harms the generalization performance of such underrepresented classes. We empirically report that self-supervised learning (SSL) can mitigate SB and perform in complementary to the supervised counterpart by enriching the features extracted from tail samples and consequently taking better advantage of such rare samples. However, standard SSL methods are designed without explicitly considering the inherent data distribution in terms of classes and may not be optimal for long-tailed distributed data. To address this limitation, we propose a novel SSL method tailored to imbalanced data. It leverages SSL by triple diverse levels, i.e., holistic-, partial-, and augmented-level, to enhance the learning of predictive complex patterns, which provides the potential to overcome the severe SB on tail data. Both quantitative and qualitative experimental results on five long-tailed benchmark datasets show our method can effectively mitigate SB and significantly outperform the competing state-of-the-arts.
• Abstract（参考訳）: 単純性バイアス(Simplicity Bias, SB)は、深層ニューラルネットワークが単純な予測パターンに好意的に依存する傾向にある現象である。 本研究では,長尾画像認識におけるSBについて検討し,SBに苦しむ尾クラスがより重篤であることを示す。 本研究では, 自己教師あり学習(SSL)が, 尾部サンプルから抽出した特徴を豊かにすることにより, SBを緩和し, 教師あり学習と相補的に行うことができることを実証報告する。 しかし、標準sslメソッドはクラスの観点から固有のデータ分布を明示的に考慮せずに設計されており、ロングテールの分散データには最適ではない。 この制限に対処するため,不均衡データに適したSSL方式を提案する。 SSLを3つの多様なレベル(全体論的、部分的、拡張的レベル)で活用し、予測複雑なパターンの学習を強化し、テールデータ上で厳しいSBを克服する可能性を提供する。 5つの長尾ベンチマークデータセットにおける定量的・定性的な実験結果から,本手法はsbを効果的に軽減し,競合する最先端を著しく上回ることを示した。

関連論文リスト

• A Self-Supervised Learning Pipeline for Demographically Fair Facial Attribute Classification [3.5092955099876266]
  本稿では,人口統計学的に公平な顔属性分類のための完全自己教師付きパイプラインを提案する。 我々は、事前訓練されたエンコーダ、多様なデータキュレーション技術、メタラーニングに基づく重み付きコントラスト学習を通じて、完全にラベル付けされていないデータを活用する。
  論文  参考訳（メタデータ） (2024-07-14T07:11:57Z)
• Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
  本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-26T17:41:11Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Pruning the Unlabeled Data to Improve Semi-Supervised Learning [17.62242617965356]
  PruneSSLは、オリジナルのラベルなしデータセットからサンプルを選択的に削除し、分離性を高める技術である。 PruneSSLは学習者の利用可能なトレーニングデータの量を減らすが、様々な競合するSSLアルゴリズムの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-27T09:45:41Z)
• On the Effectiveness of Out-of-Distribution Data in Self-Supervised Long-Tail Learning [15.276356824489431]
  我々は、長期学習(COLT)のためのOODデータを用いたコントラストを提案する。 我々はSSL長期学習におけるOODサンプルの対直感的有用性を実証的に同定した。 提案手法は,長い尾のデータセット上でのSSLの性能を大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-06-08T04:32:10Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。