論文の概要: Augmentations vs Algorithms: What Works in Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2403.05726v1
- Date: Fri, 8 Mar 2024 23:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:40:44.242545
- Title: Augmentations vs Algorithms: What Works in Self-Supervised Learning
- Title（参考訳）: Augmentations vs Algorithms: 自己監督型学習で何が機能するか
- Authors: Warren Morningstar, Alex Bijamov, Chris Duvarney, Luke Friedman, Neha
Kalibhat, Luyang Liu, Philip Mansfield, Renan Rojas-Gomez, Karan Singhal,
Bradley Green, Sushant Prakash
- Abstract要約: 自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。
異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.194402355758164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the relative effects of data augmentations, pretraining algorithms,
and model architectures in Self-Supervised Learning (SSL). While the recent
literature in this space leaves the impression that the pretraining algorithm
is of critical importance to performance, understanding its effect is
complicated by the difficulty in making objective and direct comparisons
between methods. We propose a new framework which unifies many seemingly
disparate SSL methods into a single shared template. Using this framework, we
identify aspects in which methods differ and observe that in addition to
changing the pretraining algorithm, many works also use new data augmentations
or more powerful model architectures. We compare several popular SSL methods
using our framework and find that many algorithmic additions, such as
prediction networks or new losses, have a minor impact on downstream task
performance (often less than $1\%$), while enhanced augmentation techniques
offer more significant performance improvements ($2-4\%$). Our findings
challenge the premise that SSL is being driven primarily by algorithmic
improvements, and suggest instead a bitter lesson for SSL: that augmentation
diversity and data / model scale are more critical contributors to recent
advances in self-supervised learning.
- Abstract（参考訳）: 本稿では,自己改善学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。
この領域の最近の文献では、事前学習アルゴリズムは性能にとって重要なものであるという印象を残しているが、その効果を理解することは、メソッド間の客観的および直接的な比較を行うのが困難である。
本稿では、一見異なるsslメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
このフレームワークを用いて、メソッドが異なる側面を特定し、事前学習アルゴリズムの変更に加えて、多くの研究が新しいデータ拡張やより強力なモデルアーキテクチャを使用していることを観察する。
我々のフレームワークを使った一般的なSSLメソッドをいくつか比較し、予測ネットワークや新しい損失などのアルゴリズム的な追加がダウンストリームタスクのパフォーマンスに小さな影響を与えていること(多くの場合、$1\%以下)、強化された拡張技術によりパフォーマンスが大幅に向上すること($2-4\%)を見出した。
我々の発見は、SSLが主にアルゴリズムの改善によって駆動されているという前提に異議を唱え、代わりにSSLの苦しい教訓を示唆している。
関連論文リスト
- On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。
また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
論文 参考訳（メタデータ） (2024-04-30T06:39:04Z) - Evolutionary Augmentation Policy Optimization for Self-supervised
Learning [10.087678954934155]
自己教師付き学習は、手動でラベル付けされたデータを必要としないディープニューラルネットワーク(DNN)の事前トレーニングのための機械学習アルゴリズムである。
本稿では,自己教師付き学習アルゴリズムの性能向上に対する拡張演算子の貢献について検討する。
論文 参考訳（メタデータ） (2023-03-02T21:16:53Z) - A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。
SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。
本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
論文 参考訳（メタデータ） (2023-01-13T14:41:05Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳（メタデータ） (2022-11-18T02:00:17Z) - Improving Contrastive Learning with Model Augmentation [123.05700988581806]
このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。
シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
論文 参考訳（メタデータ） (2022-03-25T06:12:58Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z) - Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。
SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。
gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
論文 参考訳（メタデータ） (2021-02-22T03:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。