論文の概要: Know Your Self-supervised Learning: A Survey on Image-based Generative
and Discriminative Training
- arxiv url: http://arxiv.org/abs/2305.13689v1
- Date: Tue, 23 May 2023 04:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 18:54:07.162442
- Title: Know Your Self-supervised Learning: A Survey on Image-based Generative
and Discriminative Training
- Title（参考訳）: 自己指導型学習を知る:画像に基づく生成・識別学習に関する調査
- Authors: Utku Ozbulak, Hyun Jung Lee, Beril Boga, Esla Timothy Anzaku, Homin
Park, Arnout Van Messem, Wesley De Neve, Joris Vankerschaver
- Abstract要約: 自然言語処理(NLP)を目的とした自己教師型学習(SSL)は、大きな成功を収めている。
3年以内に、画像に焦点をあてた生成的で差別的なSSLのための100ドル以上のユニークな汎用フレームワークが提案された。
- 参考スコア（独自算出の注目度）: 2.2046235060588018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although supervised learning has been highly successful in improving the
state-of-the-art in the domain of image-based computer vision in the past, the
margin of improvement has diminished significantly in recent years, indicating
that a plateau is in sight. Meanwhile, the use of self-supervised learning
(SSL) for the purpose of natural language processing (NLP) has seen tremendous
successes during the past couple of years, with this new learning paradigm
yielding powerful language models. Inspired by the excellent results obtained
in the field of NLP, self-supervised methods that rely on clustering,
contrastive learning, distillation, and information-maximization, which all
fall under the banner of discriminative SSL, have experienced a swift uptake in
the area of computer vision. Shortly afterwards, generative SSL frameworks that
are mostly based on masked image modeling, complemented and surpassed the
results obtained with discriminative SSL. Consequently, within a span of three
years, over $100$ unique general-purpose frameworks for generative and
discriminative SSL, with a focus on imaging, were proposed. In this survey, we
review a plethora of research efforts conducted on image-oriented SSL,
providing a historic view and paying attention to best practices as well as
useful software packages. While doing so, we discuss pretext tasks for
image-based SSL, as well as techniques that are commonly used in image-based
SSL. Lastly, to aid researchers who aim at contributing to image-focused SSL,
we outline a number of promising research directions.
- Abstract（参考訳）: 教師付き学習は、画像ベースのコンピュータビジョンの分野における最先端技術の改善に成功してきたが、近年は改善率は大幅に低下しており、台地が見えていることを示している。
一方、自然言語処理(NLP)を目的とした自己教師付き学習(SSL)の利用は、ここ数年で大きな成功を収めており、この新しい学習パラダイムは強力な言語モデルを生み出している。
nlpの分野で得られた優れた結果に触発されて、クラスタリング、コントラスト学習、蒸留、情報最大化に依存する自己教師ありの手法は、すべて差別的sslの旗の下に置かれ、コンピュータビジョンの領域で急速に普及した。
その後間もなく、主にマスク画像モデリングに基づく生成SSLフレームワークが、差別的なSSLで得られた結果を補完し、上回った。
その結果、3年以内に、画像に焦点をあてた生成的で差別的なSSLのための100ドル以上のユニークな汎用フレームワークが提案された。
本調査では,イメージ指向SSLに関する数多くの研究成果を概観し,歴史的視点を提供し,ベストプラクティスや有用なソフトウェアパッケージに注意を払っている。
その間、イメージベースSSLのプリテキストタスクや、イメージベースSSLで一般的に使用されるテクニックについて議論する。
最後に、画像中心のsslへの貢献を目指す研究者を支援するために、多くの有望な研究方向を概説する。
関連論文リスト
- A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。
SSL手法を体系的に分類する包括的分類法を開発した。
SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
論文 参考訳（メタデータ） (2024-08-30T07:38:28Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳（メタデータ） (2023-08-28T07:55:01Z) - Self-Supervised Learning for Improved Synthetic Aperture Sonar Target
Recognition [0.0]
本研究では,合成開口ソナー(SAS)画像における目標認識向上のための自己教師付き学習(SSL)の適用について検討する。
高分解能SASデータは、ディープニューラルネットワーク(DNN)をトレーニングするための重要なステップであるラベル付けに重要な課題を呈している。
この研究は、バイナリ画像分類タスクにおいて、よく認識された教師付き学習モデルであるResNet18に対して、2つの著名なSSLアルゴリズムであるMoCov2とBYOLの性能を評価する。
論文 参考訳（メタデータ） (2023-07-27T14:17:24Z) - A Review of Predictive and Contrastive Self-supervised Learning for Medical Images [12.395493353322237]
本稿では,自然画像と医用画像への適応に基づいて,最先端のコントラストSSLアルゴリズムについて検討する。
医療分野における対照的なSSLの適用における最近の進歩、現在の制限、今後の方向性について議論することで締めくくられる。
論文 参考訳（メタデータ） (2023-02-10T04:12:11Z) - A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。
SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。
本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
論文 参考訳（メタデータ） (2023-01-13T14:41:05Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳（メタデータ） (2022-12-22T05:42:54Z) - Saliency Can Be All You Need In Contrastive Self-Supervised Learning [2.867517731896504]
我々は,すでに確立されている「グローバル・コントラスト・ベース・サリアント領域検出」という手法を用いて,コントラスト型自己監視学習(SSL)のための拡張ポリシーを提案する。
論文 参考訳（メタデータ） (2022-10-30T08:47:53Z) - Audio Self-supervised Learning: A Survey [60.41768569891083]
SSL(Self-Supervised Learning)は、人間のアノテーションを必要とせずに、大規模データから一般的な表現を見つけることを目的としている。
コンピュータビジョンと自然言語処理の分野での成功により、近年では音声処理や音声処理の分野で採用されている。
論文 参考訳（メタデータ） (2022-03-02T15:58:29Z) - Revisiting Contrastive Learning for Few-Shot Classification [74.78397993160583]
インスタンス識別に基づくコントラスト学習は,視覚表現の自己教師あり学習の指導的アプローチとして現れてきた。
本稿では,インスタンス識別に基づくコントラスト型自己教師付き学習フレームワークにおいて,新しいタスクを一般化する表現を学習する方法を示す。
提案手法は,cidを用いて訓練された普遍的埋め込みと組み合わせて,挑戦的メタデータセットベンチマークにおいて最先端アルゴリズムよりも優れる新しいモデル選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-26T19:58:08Z) - Adversarial Self-Supervised Learning for Semi-Supervised 3D Action
Recognition [123.62183172631443]
本稿では,SSLと半教師付きスキームを緊密に結合する新しいフレームワークであるAdversarial Self-Supervised Learning (ASSL)を紹介する。
具体的には,3次元動作認識のための学習表現の識別能力を向上させる効果的なSSL方式を設計する。
論文 参考訳（メタデータ） (2020-07-12T08:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。