論文の概要: A Survey of the Self Supervised Learning Mechanisms for Vision Transformers
- arxiv url: http://arxiv.org/abs/2408.17059v1
- Date: Fri, 30 Aug 2024 07:38:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 16:09:30.455659
- Title: A Survey of the Self Supervised Learning Mechanisms for Vision Transformers
- Title（参考訳）: 視覚変換器の自己監督学習メカニズムの検討
- Authors: Asifullah Khan, Anabia Sohail, Mustansar Fiaz, Mehdi Hassan, Tariq Habib Afridi, Sibghat Ullah Marwat, Farzeen Munir, Safdar Ali, Hannan Naseem, Muhammad Zaigham Zaheer, Kamran Ali, Tangina Sultana, Ziaurrehman Tanoli, Naeem Akhter,
- Abstract要約: 視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。
SSLの背後にある直感は、データ内の同期関係をセルフスーパービジョンの形で利用することである。
ViTの出現により、これらのモデルのトレーニングに使用されるさまざまなSSLメカニズムを探求し、理解することが不可欠である。
- 参考スコア（独自算出の注目度）: 5.152455218955949
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep supervised learning models require high volume of labeled data to attain sufficiently good results. Although, the practice of gathering and annotating such big data is costly and laborious. Recently, the application of self supervised learning (SSL) in vision tasks has gained significant attention. The intuition behind SSL is to exploit the synchronous relationships within the data as a form of self-supervision, which can be versatile. In the current big data era, most of the data is unlabeled, and the success of SSL thus relies in finding ways to improve this vast amount of unlabeled data available. Thus its better for deep learning algorithms to reduce reliance on human supervision and instead focus on self-supervision based on the inherent relationships within the data. With the advent of ViTs, which have achieved remarkable results in computer vision, it is crucial to explore and understand the various SSL mechanisms employed for training these models specifically in scenarios where there is less label data available. In this survey we thus develop a comprehensive taxonomy of systematically classifying the SSL techniques based upon their representations and pre-training tasks being applied. Additionally, we discuss the motivations behind SSL, review popular pre-training tasks, and highlight the challenges and advancements in this field. Furthermore, we present a comparative analysis of different SSL methods, evaluate their strengths and limitations, and identify potential avenues for future research.
- Abstract（参考訳）: 深い教師付き学習モデルは十分な良い結果を得るためにラベル付きデータの量を必要とする。
しかし、このようなビッグデータの収集と注釈付けの慣行は、費用も労力もかかる。
近年,視覚タスクにおける自己教師あり学習(SSL)の適用が注目されている。
SSLの背後にある直感は、データ内の同期関係を、汎用性のあるセルフスーパービジョンの形式として利用することである。
現在のビッグデータ時代では、ほとんどのデータがラベル付けされていないため、SSLの成功は、この膨大な量のラベル付けされていないデータを改善する方法を見つけることに依存している。
したがって、深層学習アルゴリズムは、人間の監督への依存を減らし、データ内の固有の関係に基づいて自己監督に焦点を当てる方がよい。
コンピュータビジョンにおいて顕著な成果を上げたViTの出現により、ラベルデータが少ないシナリオにおいて、これらのモデルのトレーニングに使用されるさまざまなSSLメカニズムを探求し、理解することが不可欠である。
そこで本研究では,SSL手法を体系的に分類する包括的分類法を開発し,その表現と事前学習タスクを適用した。
さらに、SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
さらに,異なるSSL手法の比較分析を行い,その強度と限界を評価し,今後の研究の道筋を明らかにする。
関連論文リスト
- What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。
事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。
CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
論文 参考訳（メタデータ） (2024-05-31T17:57:24Z) - Can We Break Free from Strong Data Augmentations in Self-Supervised Learning? [18.83003310612038]
ディープニューラルネットワーク(DNN)における限定ラベル付きデータの課題に対処するための、有望なソリューションとして、自己教師付き学習(SSL)が登場した。
SSLモデルのパフォーマンスと学習メカニズムを形作る上で,SSLの動作が重要な役割を担っていることを明らかにする。
本稿では,事前知識を統合した新しい学習手法を提案する。
論文 参考訳（メタデータ） (2024-04-15T12:53:48Z) - Evaluating Fairness in Self-supervised and Supervised Models for
Sequential Data [10.626503137418636]
自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。
本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2024-01-03T09:31:43Z) - Language Semantic Graph Guided Data-Efficient Learning [10.039953846594805]
本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。
補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。
奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
論文 参考訳（メタデータ） (2023-11-15T08:54:57Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳（メタデータ） (2023-08-28T07:55:01Z) - Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。
この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
論文 参考訳（メタデータ） (2023-06-16T18:23:10Z) - Explaining, Analyzing, and Probing Representations of Self-Supervised
Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。
本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
論文 参考訳（メタデータ） (2023-04-14T07:53:59Z) - Does Decentralized Learning with Non-IID Unlabeled Data Benefit from
Self Supervision? [51.00034621304361]
自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究
本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2022-10-20T01:32:41Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。
重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。
GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
論文 参考訳（メタデータ） (2021-02-26T05:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。