論文の概要: Whitening Consistently Improves Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2408.07519v1
• Date: Wed, 14 Aug 2024 12:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:24:15.158206
• Title: Whitening Consistently Improves Self-Supervised Learning
• Title（参考訳）: ホワイトニングは自己監督型学習を継続的に改善する
• Authors: András Kalapos, Bálint Gyires-Tóth,
• Abstract要約: 自己教師型学習におけるエンコーダの最終層としてZCA白化を導入することを提案する。 実験の結果,白化は線形およびk-NN探索精度を1-5%向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 5.0337106694127725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has been shown to be a powerful approach for learning visual representations. In this study, we propose incorporating ZCA whitening as the final layer of the encoder in self-supervised learning to enhance the quality of learned features by normalizing and decorrelating them. Although whitening has been utilized in SSL in previous works, its potential to universally improve any SSL model has not been explored. We demonstrate that adding whitening as the last layer of SSL pretrained encoders is independent of the self-supervised learning method and encoder architecture, thus it improves performance for a wide range of SSL methods across multiple encoder architectures and datasets. Our experiments show that whitening is capable of improving linear and k-NN probing accuracy by 1-5%. Additionally, we propose metrics that allow for a comprehensive analysis of the learned features, provide insights into the quality of the representations and help identify collapse patterns.
• Abstract（参考訳）: 自己教師付き学習(SSL)は視覚表現を学習するための強力なアプローチであることが示されている。 本研究では, エンコーダの最終層としてのZCA白化を自己教師型学習に取り入れ, 正規化とデコレーションにより学習特徴の質を高めることを提案する。 以前の研究ではSSLで白化が利用されていたが、SSLモデルを普遍的に改善する可能性については検討されていない。 我々は、SSL事前訓練エンコーダの最後の層としてホワイトニングを追加することが、自己教師付き学習手法やエンコーダアーキテクチャとは無関係であることを示し、複数のエンコーダアーキテクチャやデータセットにまたがる幅広いSSLメソッドのパフォーマンスを向上させる。 実験の結果,白化は線形およびk-NN探索精度を1-5%向上させることができることがわかった。 さらに、学習した特徴を包括的に分析し、表現の質に関する洞察を与え、崩壊パターンを特定するための指標を提案する。

関連論文リスト

• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Memorization in Self-Supervised Learning Improves Downstream Generalization [49.42010047574022]
  自己教師付き学習(SSL)は、ラベルのないデータで純粋に高性能エンコーダを訓練する能力により、最近大きな注目を集めている。 SSL内での暗記を定義するためのフレームワークであるSSLMemを提案する。
  論文  参考訳（メタデータ） (2024-01-19T11:32:47Z)
• Understanding Contrastive Learning Through the Lens of Margins [9.443122526245562]
  自己教師型学習(SSL)は、現実世界のタスクにおける機械学習の利用を拡大する鍵を握る。 比較学習がより深いレベルでどのように機能するかを理解するために、マージンをステップストーンとして使用しています。
  論文  参考訳（メタデータ） (2023-06-20T13:28:27Z)
• Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
  自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。 本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。 提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
  論文  参考訳（メタデータ） (2023-05-31T12:24:06Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。