論文の概要: Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2304.03456v1
• Date: Fri, 7 Apr 2023 03:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 13:02:02.932482
• Title: Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning
• Title（参考訳）: 自己教師付き学習による視覚表現の評価プロトコル再考
• Authors: Jae-Hun Lee, Doyoung Yoon, ByeongMoon Ji, Kyungyul Kim, Sangheum Hwang
• Abstract要約: 自己教師型学習(SSL)は、自己教師型学習(SSL)を通して学習した視覚的表現の質を評価するために用いられる。 既存のSSLメソッドは、これらの評価プロトコルの下で優れたパフォーマンスを示している。 我々は、最先端のSSL方式で広範な実験を行うことにより、性能感度の原因を解明しようとする。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear probing (LP) (and $k$-NN) on the upstream dataset with labels (e.g., ImageNet) and transfer learning (TL) to various downstream datasets are commonly employed to evaluate the quality of visual representations learned via self-supervised learning (SSL). Although existing SSL methods have shown good performances under those evaluation protocols, we observe that the performances are very sensitive to the hyperparameters involved in LP and TL. We argue that this is an undesirable behavior since truly generic representations should be easily adapted to any other visual recognition task, i.e., the learned representations should be robust to the settings of LP and TL hyperparameters. In this work, we try to figure out the cause of performance sensitivity by conducting extensive experiments with state-of-the-art SSL methods. First, we find that input normalization for LP is crucial to eliminate performance variations according to the hyperparameters. Specifically, batch normalization before feeding inputs to a linear classifier considerably improves the stability of evaluation, and also resolves inconsistency of $k$-NN and LP metrics. Second, for TL, we demonstrate that a weight decay parameter in SSL significantly affects the transferability of learned representations, which cannot be identified by LP or $k$-NN evaluations on the upstream dataset. We believe that the findings of this study will be beneficial for the community by drawing attention to the shortcomings in the current SSL evaluation schemes and underscoring the need to reconsider them.
• Abstract（参考訳）: ラベル付き上流データセット上の線形探索 (LP) (および$k$-NN) と様々な下流データセットへの転送学習 (TL) は、自己教師付き学習 (SSL) を通じて学習した視覚表現の品質を評価するために一般的に用いられる。 既存のSSL手法は,これらの評価プロトコル下では優れた性能を示すが,LPやTLに関わるハイパーパラメータに非常に敏感な性能を示す。 真に汎用的な表現は、他の視覚認識タスク、すなわち学習された表現は、lpおよびtlハイパーパラメータの設定にロバストでなければならないため、これは望ましくない振る舞いである。 そこで本研究では,最先端SSL手法による広範囲な実験を行い,性能感度の原因を明らかにする。 まず、LPの入力正規化は、ハイパーパラメータによる性能変動を排除するために重要である。 具体的には、入力を線形分類器に供給する前のバッチ正規化は、評価の安定性を大幅に向上させ、また、$k$-NNとLPメトリクスの不整合を解消する。 第二に、TLの場合、SSLの重み劣化パラメータが学習された表現の転送可能性に大きく影響することを示し、上流データセットのLPや$k$-NN評価では識別できない。 本研究の成果は,現在のSSL評価スキームの欠点に注意を向け,再考の必要性を強調することによって,コミュニティにとって有益であると信じている。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact Detection with Self-Supervised Learning [0.0]
  本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。 実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。 このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
  論文  参考訳（メタデータ） (2024-01-02T04:00:48Z)
• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。