論文の概要: Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining
Paradigms
- arxiv url: http://arxiv.org/abs/2007.04234v1
- Date: Fri, 19 Jun 2020 05:21:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 03:29:21.256459
- Title: Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining
Paradigms
- Title(参考訳): 転校学習か自己監督学習か?
2つの事前学習パラダイムの物語
- Authors: Xingyi Yang, Xuehai He, Yuxiao Liang, Yue Yang, Shanghang Zhang,
Pengtao Xie
- Abstract要約: 自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。
データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
- 参考スコア(独自算出の注目度): 36.04356511882304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretraining has become a standard technique in computer vision and natural
language processing, which usually helps to improve performance substantially.
Previously, the most dominant pretraining method is transfer learning (TL),
which uses labeled data to learn a good representation network. Recently, a new
pretraining approach -- self-supervised learning (SSL) -- has demonstrated
promising results on a wide range of applications. SSL does not require
annotated labels. It is purely conducted on input data by solving auxiliary
tasks defined on the input data examples. The current reported results show
that in certain applications, SSL outperforms TL and the other way around in
other applications. There has not been a clear understanding on what properties
of data and tasks render one approach outperforms the other. Without an
informed guideline, ML researchers have to try both methods to find out which
one is better empirically. It is usually time-consuming to do so. In this work,
we aim to address this problem. We perform a comprehensive comparative study
between SSL and TL regarding which one works better under different properties
of data and tasks, including domain difference between source and target tasks,
the amount of pretraining data, class imbalance in source data, and usage of
target data for additional pretraining, etc. The insights distilled from our
comparative studies can help ML researchers decide which method to use based on
the properties of their applications.
- Abstract(参考訳): プリトレーニングはコンピュータビジョンと自然言語処理の標準技術となり、パフォーマンスを大幅に向上させるのに役立つ。
これまで、最も支配的な事前学習方法は、ラベル付きデータを使用して良好な表現ネットワークを学ぶ転送学習(tl)である。
最近、自己教師付き学習(SSL)という新しい事前トレーニングアプローチが、幅広いアプリケーションで有望な結果を示している。
SSLはアノテーション付きラベルを必要としない。
入力データ例で定義された補助タスクを解いて、入力データに対して純粋に実行される。
現在のレポートでは、特定のアプリケーションではSSLがTLと他のアプリケーションよりも優れていることが示されている。
データとタスクのどの特性が一方のアプローチが他方より優れているかを明確に理解していない。
MLの研究者たちは、インフォームドガイドがなければ、両方の方法を試して、どちらが実験的に優れているかを見極める必要がある。
通常はそれを行うのに時間がかかる。
この作業では、この問題に取り組みます。
我々は、ソースタスクとターゲットタスクのドメイン差、事前トレーニングデータの量、ソースデータのクラス不均衡、追加事前トレーニングのためのターゲットデータの使用など、データとタスクの異なる特性下でよりうまく機能するSSLとTLの包括的な比較研究を行う。
比較研究から得られた知見は、機械学習研究者がアプリケーションの性質に基づいてどの方法を使うかを決定するのに役立つ。
関連論文リスト
- LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳(メタデータ) (2023-10-30T14:54:15Z) - In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene
Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。
そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文 参考訳(メタデータ) (2023-07-04T10:57:52Z) - Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs.
Continual Pre-training [19.299285312415734]
少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。
この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。
限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
論文 参考訳(メタデータ) (2023-06-08T15:26:52Z) - A Survey on Self-supervised Learning: Algorithms, Applications, and
Future Trends [86.78685759427414]
自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。
SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。
本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
論文 参考訳(メタデータ) (2023-01-13T14:41:05Z) - Match to Win: Analysing Sequences Lengths for Efficient Self-supervised
Learning in Speech and Audio [19.865050806327147]
自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。
本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。
ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
論文 参考訳(メタデータ) (2022-09-30T16:35:42Z) - Task-Customized Self-Supervised Pre-training with Scalable Dynamic
Routing [76.78772372631623]
セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。
しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。
異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
論文 参考訳(メタデータ) (2022-05-26T10:49:43Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳(メタデータ) (2021-09-08T10:39:57Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z) - TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文 参考訳(メタデータ) (2020-03-14T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。