論文の概要: Self-supervised visual learning in the low-data regime: a comparative evaluation

• arxiv url: http://arxiv.org/abs/2404.17202v2
• Date: Thu, 26 Dec 2024 14:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:22:26.955416
• Title: Self-supervised visual learning in the low-data regime: a comparative evaluation
• Title（参考訳）: 低データ体制における自己指導型視覚学習 : 比較評価
• Authors: Sotirios Konstantakos, Jorgen Cani, Ioannis Mademlis, Despina Ioanna Chalkiadaki, Yuki M. Asano, Efstratios Gavves, Georgios Th. Papadopoulos,
• Abstract要約: 自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための価値ある、堅牢なトレーニング手法である 大量のラベルのないトレーニングデータから効率的な表現学習を可能にする。 非常に大きな事前学習データセットの収集や利用が常に可能であるとは限らない。
• 参考スコア（独自算出の注目度）: 38.34785825702943
• License:
• Abstract: Self-Supervised Learning (SSL) is a valuable and robust training methodology for contemporary Deep Neural Networks (DNNs), enabling unsupervised pretraining on a 'pretext task' that does not require ground-truth labels/annotation. This allows efficient representation learning from massive amounts of unlabeled training data, which in turn leads to increased accuracy in a 'downstream task' by exploiting supervised transfer learning. Despite the relatively straightforward conceptualization and applicability of SSL, it is not always feasible to collect and/or to utilize very large pretraining datasets, especially when it comes to real-world application settings. In particular, in cases of specialized and domain-specific application scenarios, it may not be achievable or practical to assemble a relevant image pretraining dataset in the order of millions of instances or it could be computationally infeasible to pretrain at this scale, e.g., due to unavailability of sufficient computational resources that SSL methods typically require to produce improved visual analysis results. This situation motivates an investigation on the effectiveness of common SSL pretext tasks, when the pretraining dataset is of relatively limited/constrained size. This work briefly introduces the main families of modern visual SSL methods and, subsequently, conducts a thorough comparative experimental evaluation in the low-data regime, targeting to identify: a) what is learnt via low-data SSL pretraining, and b) how do different SSL categories behave in such training scenarios. Interestingly, for domain-specific downstream tasks, in-domain low-data SSL pretraining outperforms the common approach of large-scale pretraining on general datasets.
• Abstract（参考訳）: SSL(Self Supervised Learning)は、現代のDeep Neural Networks(DNN)にとって価値ある、堅牢なトレーニング手法である。 これにより、大量のラベルのないトレーニングデータから効率的な表現学習が可能になる。 SSLの比較的単純な概念化と適用性にもかかわらず、特に現実世界のアプリケーション設定に関して、非常に大規模な事前トレーニングデータセットの収集や利用が常に可能であるとは限らない。 特に、特殊でドメイン固有のアプリケーションシナリオの場合、数百万のインスタンスの順序で関連する画像事前トレーニングデータセットを組み立てることは達成不可能あるいは現実的ではないかもしれないし、例えば、SSLメソッドが通常、改善された視覚分析結果を生成するのに必要な十分な計算リソースが利用できないため、このスケールで事前トレーニングすることができないかもしれない。 この状況は、プレトレーニングデータセットが比較的制限された/制約されたサイズである場合、一般的なSSLプリテキストタスクの有効性の調査を動機付けている。 この研究は、現代のビジュアルSSLメソッドのメインファミリーを簡潔に紹介し、その後、ローデータ体制における徹底的な比較実験を行い、次のように識別する。 a) ローデータSSL事前トレーニングにより学習されるもの b) 異なるSSLカテゴリがこのようなトレーニングシナリオでどのように振る舞うか。 興味深いことに、ドメイン固有の下流タスクでは、ドメイン内の低データSSL事前トレーニングは、一般的なデータセットでの大規模事前トレーニングの一般的なアプローチよりも優れています。

関連論文リスト

• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification [38.68079253627819]
  本ベンチマークは, avesおよびfungi分類のクラスをサンプリングして得られた2つの細粒度分類データセットからなる。 最近提案されたSSLメソッドは大きなメリットをもたらし、深いネットワークがゼロから訓練されたときにクラス外のデータを効果的にパフォーマンスを向上させることができます。 我々の研究は、現実的データセットの専門家による半教師付き学習は、現在文学で普及しているものとは異なる戦略を必要とする可能性があることを示唆している。
  論文  参考訳（メタデータ） (2021-04-01T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。