論文の概要: The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning
- arxiv url: http://arxiv.org/abs/2303.00106v1
- Date: Tue, 28 Feb 2023 22:14:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 16:36:29.131036
- Title: The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning
- Title（参考訳）: コントラスト学習における表現の普遍性とラベル効率のトレードオフ
- Authors: Zhenmei Shi, Jiefeng Chen, Kunyang Li, Jayaram Raghuram, Xi Wu, Yingyu
Liang, Somesh Jha
- Abstract要約: 2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
- 参考スコア（独自算出の注目度）: 32.15608637930748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training representations (a.k.a. foundation models) has recently become a
prevalent learning paradigm, where one first pre-trains a representation using
large-scale unlabeled data, and then learns simple predictors on top of the
representation using small labeled data from the downstream tasks. There are
two key desiderata for the representation: label efficiency (the ability to
learn an accurate classifier on top of the representation with a small amount
of labeled data) and universality (usefulness across a wide range of downstream
tasks). In this paper, we focus on one of the most popular instantiations of
this paradigm: contrastive learning with linear probing, i.e., learning a
linear predictor on the representation pre-trained by contrastive learning. We
show that there exists a trade-off between the two desiderata so that one may
not be able to achieve both simultaneously. Specifically, we provide analysis
using a theoretical data model and show that, while more diverse pre-training
data result in more diverse features for different tasks (improving
universality), it puts less emphasis on task-specific features, giving rise to
larger sample complexity for down-stream supervised tasks, and thus worse
prediction performance. Guided by this analysis, we propose a contrastive
regularization method to improve the trade-off. We validate our analysis and
method empirically with systematic experiments using real-world datasets and
foundation models.
- Abstract（参考訳）: 事前学習表現(または基礎モデル)は、最近一般的な学習パラダイムとなり、まず大規模なラベル付きデータを使用して表現を事前学習し、次に下流のタスクから小さなラベル付きデータを使用して表現の上に単純な予測子を学習する。
表現には2つの重要なデシラタがある: ラベル効率(ラベル付きデータの少ない量で表現の上に正確な分類器を学習する能力)と普遍性(幅広い下流タスクにまたがる使い勝手)である。
本稿では,このパラダイムの最も一般的なインスタンスの1つ,線形プローブを用いたコントラスト学習,すなわち,コントラスト学習によって事前学習された表現について線形予測子を学習することに焦点を当てる。
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
具体的には、理論データモデルを用いて分析を行い、より多様な事前学習データによって異なるタスクに対してより多様な機能(普遍性の改善)をもたらすが、タスク固有の機能に重点を置き、ダウンストリームの教師付きタスクのサンプル複雑さを増大させ、予測性能を低下させることを示した。
この分析により、トレードオフを改善するための対照的な正則化法を提案する。
実世界のデータセットと基礎モデルを用いて,系統実験により分析手法と手法を実証的に検証した。
関連論文リスト
- On the Trade-off of Intra-/Inter-class Diversity for Supervised
Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。
トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文 参考訳（メタデータ） (2023-05-20T16:23:50Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳（メタデータ） (2023-03-02T07:44:06Z) - MixSiam: A Mixture-based Approach to Self-supervised Representation
Learning [33.52892899982186]
近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。
従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
論文 参考訳（メタデータ） (2021-11-04T08:12:47Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。