論文の概要: GPS-SSL: Guided Positive Sampling to Inject Prior Into Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2401.01990v2
• Date: Tue, 9 Jan 2024 18:24:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 18:58:53.157467
• Title: GPS-SSL: Guided Positive Sampling to Inject Prior Into Self-Supervised Learning
• Title（参考訳）: GPS-SSL:事前学習を自己監督学習に注入するためのポジティブサンプリング
• Authors: Aarash Feizi, Randall Balestriero, Adriana Romero-Soriano, Reihaneh Rabbany
• Abstract要約: 我々は,自己監視学習(SSL)の正のサンプル選択に事前知識を注入するために,自己監視学習(GPS-SSL)をガイドする。 GPS-SSLは、SimCLRやBYOLなどのSSLメソッドに適用できる。 強力なDAを使用する場合であっても、GPS-SSLは未調査領域のベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 19.76623480364484
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose Guided Positive Sampling Self-Supervised Learning (GPS-SSL), a general method to inject a priori knowledge into Self-Supervised Learning (SSL) positive samples selection. Current SSL methods leverage Data-Augmentations (DA) for generating positive samples and incorporate prior knowledge - an incorrect, or too weak DA will drastically reduce the quality of the learned representation. GPS-SSL proposes instead to design a metric space where Euclidean distances become a meaningful proxy for semantic relationship. In that space, it is now possible to generate positive samples from nearest neighbor sampling. Any prior knowledge can now be embedded into that metric space independently from the employed DA. From its simplicity, GPS-SSL is applicable to any SSL method, e.g. SimCLR or BYOL. A key benefit of GPS-SSL is in reducing the pressure in tailoring strong DAs. For example GPS-SSL reaches 85.58% on Cifar10 with weak DA while the baseline only reaches 37.51%. We therefore move a step forward towards the goal of making SSL less reliant on DA. We also show that even when using strong DAs, GPS-SSL outperforms the baselines on under-studied domains. We evaluate GPS-SSL along with multiple baseline SSL methods on numerous downstream datasets from different domains when the models use strong or minimal data augmentations. We hope that GPS-SSL will open new avenues in studying how to inject a priori knowledge into SSL in a principled manner.
• Abstract（参考訳）: 我々は,自己監視学習(SSL)の正のサンプル選択に事前知識を注入する一般的な方法である,自己監視学習(GPS-SSL)のガイドポジティヴサンプリングを提案する。 現在のSSLメソッドでは、データ拡張(DA)を使用して、ポジティブなサンプルを生成し、事前の知識を取り入れています。 GPS-SSLは、ユークリッド距離が意味論的関係の有意義なプロキシとなる計量空間を設計することを提案する。 この領域では、近傍のサンプリングから正のサンプルを生成することができる。 任意の事前知識は、採用されたDAとは独立に、その計量空間に埋め込まれる。 その単純さから、GPS-SSLはSimCLRやBYOLなどのSSLメソッドに適用できる。 GPS-SSLの重要な利点は、強力なDAを調整する際の圧力を減らすことである。 例えばGPS-SSLはCifar10で85.58%、DAは37.51%である。 したがって、SSLをDAに依存しないようにするという目標に向かって一歩前進します。 また,強いDAを使用する場合であっても,GPS-SSLは未調査領域のベースラインよりも優れていることを示す。 GPS-SSLと複数のベースラインSSLメソッドを、モデルが強いまたは最小限のデータ拡張を使用する場合、異なるドメインから多くのダウンストリームデータセットに対して評価する。 GPS-SSLが優先知識を原則的にSSLに注入する方法を研究する新たな道を開くことを期待している。

関連論文リスト

• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Semi-supervised Learning with Deterministic Labeling and Large Margin Projection [25.398314796157933]
  ラベル付きデータの集中度と多様性は、半教師付き学習(SSL)の性能に非常に影響を与える 本研究は,OCF構造に基づいて認識される最小の安定かつ最も分散したデータに対して,カーネル化された大規模マージン計量を学習することを目的とする。 OLFに基づくSSLモデルの精度と性能の安定性は, ベースライン法に比べて大幅に向上した。
  論文  参考訳（メタデータ） (2022-08-17T04:09:35Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• The Rich Get Richer: Disparate Impact of Semi-Supervised Learning [22.37601266333974]
  半教師付き学習(SSL)は、様々な学習タスクのモデル精度を改善する可能性を実証している。 SSLがサブポピュレーションにどう影響するかは不明だ。 我々は,新たな指標であるベネフィット比を導入し,SSLの公平性の評価を促進する。
  論文  参考訳（メタデータ） (2021-10-12T19:05:06Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Semi-supervised Models are Strong Unsupervised Domain Adaptation Learners [48.415097698361045]
  非教師付きドメイン適応(UDA)と半教師付き学習(SSL)は、機械学習における高価な手動アノテーションを減らすための典型的な2つの戦略である。 UDAとSSLはタスクの目的とソリューションに関して密接に関連しています。 最先端のSSLメソッドは、DomainNetの挑戦的なUDAベンチマークにおいて、既存のUDAメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-06-01T11:59:48Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
  データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。 おもちゃのデータにベイジアンSSLの証明を与える。
  論文  参考訳（メタデータ） (2020-08-13T13:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。