論文の概要: Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation

• arxiv url: http://arxiv.org/abs/2406.18562v1
• Date: Tue, 28 May 2024 18:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:00:20.788826
• Title: Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation
• Title（参考訳）: 機能拡張によるSSLの改善
• Authors: Kimia Hamidieh, Haoran Zhang, Swami Sankaranarayanan, Marzyeh Ghassemi,
• Abstract要約: 本研究では,視覚表現学習における自己監督学習(SSL)に対する刺激的特徴の影響について検討する。 SSLの一般的な拡張は、画像空間における望ましくない不変性を引き起こす可能性があることを示す。 そこで,本研究では,pruningによりエンコーダの後半層を正規化することにより,事前学習中にこれらの表現からスプリアス情報を除去するLateTVGを提案する。
• 参考スコア（独自算出の注目度）: 27.609748213840138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning methods have been found to exhibit inductive biases favoring simpler features. When such features are spuriously correlated with the label, this can result in suboptimal performance on minority subgroups. Despite the growing popularity of methods which learn from unlabeled data, the extent to which these representations rely on spurious features for prediction is unclear. In this work, we explore the impact of spurious features on Self-Supervised Learning (SSL) for visual representation learning. We first empirically show that commonly used augmentations in SSL can cause undesired invariances in the image space, and illustrate this with a simple example. We further show that classical approaches in combating spurious correlations, such as dataset re-sampling during SSL, do not consistently lead to invariant representations. Motivated by these findings, we propose LateTVG to remove spurious information from these representations during pre-training, by regularizing later layers of the encoder via pruning. We find that our method produces representations which outperform the baselines on several benchmarks, without the need for group or label information during SSL.
• Abstract（参考訳）: 教師付き学習手法は、より単純な特徴を優先する帰納的バイアスを示す。 このような特徴がラベルと急激な相関がある場合、これは少数部分群における最適以下のパフォーマンスをもたらす可能性がある。 ラベルのないデータから学習する手法の普及にもかかわらず、これらの表現が予測の急激な特徴に依存している範囲は不明確である。 本研究では,視覚表現学習における自己監督学習(SSL)に対する刺激的特徴の影響について検討する。 最初に、SSLで一般的に使われている拡張は、画像空間において望ましくない不変性を引き起こすことを実証的に示し、これを簡単な例で説明します。 さらに、SSL中のデータセット再サンプリングなど、突発的な相関に対処する古典的なアプローチは、不変表現を一貫して導くものではないことを示す。 これらの知見に触発されて、我々は、プルーニングによりエンコーダの後の層を規則化することにより、事前学習中にこれらの表現からスプリアス情報を除去するLateTVGを提案する。 本手法は,SSL中にグループ情報やラベル情報を必要とせずに,複数のベンチマークのベースラインよりも優れた表現を生成する。

関連論文リスト

• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• Enlarging Instance-specific and Class-specific Information for Open-set Action Recognition [47.69171542776917]
  よりリッチなセマンティックな多様性を持つ機能は、同じ不確実性スコアの下で、オープンセットのパフォーマンスを著しく向上させることができる。 よりIS情報を保持するために、インスタンスの分散を同じクラス内に保持するために、新しいPSLフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-03-25T04:07:36Z)
• Exploiting Semantic Attributes for Transductive Zero-Shot Learning [97.61371730534258]
  ゼロショット学習は、視覚的特徴と、そのクラスから学んだ意味的属性の関係を一般化することにより、目に見えないクラスを認識することを目的としている。 本稿では,未知データの意味的属性を生成し,生成過程に付加する新しいZSL法を提案する。 5つの標準ベンチマーク実験により,本手法がゼロショット学習の最先端結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-03-17T09:09:48Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Rethinking Re-Sampling in Imbalanced Semi-Supervised Learning [26.069534478556527]
  Semi-Supervised Learning (SSL)はラベル付きデータが不足している場合にラベル付きデータを利用する強力な能力を示している。 ほとんどのSSLアルゴリズムは、クラスディストリビューションがトレーニングセットとテストセットの両方でバランスが取れているという仮定の下で動作します。 本研究では,クラス不均衡データに対するSSLの問題について考察する。
  論文  参考訳（メタデータ） (2021-06-01T03:58:18Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。