論文の概要: Amortised Invariance Learning for Contrastive Self-Supervision
- arxiv url: http://arxiv.org/abs/2302.12712v2
- Date: Mon, 3 Apr 2023 18:08:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 17:49:39.946499
- Title: Amortised Invariance Learning for Contrastive Self-Supervision
- Title（参考訳）: 対比自己スーパービジョンのための補正不変学習
- Authors: Ruchika Chavhan, Henry Gouk, Jan Stuehmer, Calum Heggan, Mehrdad
Yaghoobi, Timothy Hospedales
- Abstract要約: 対照的な自己監督のために, 償却不変学習の概念を導入する。
我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。
これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
- 参考スコア（独自算出の注目度）: 11.042648980854485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive self-supervised learning methods famously produce high quality
transferable representations by learning invariances to different data
augmentations. Invariances established during pre-training can be interpreted
as strong inductive biases. However these may or may not be helpful, depending
on if they match the invariance requirements of downstream tasks or not. This
has led to several attempts to learn task-specific invariances during
pre-training, however, these methods are highly compute intensive and tedious
to train. We introduce the notion of amortised invariance learning for
contrastive self supervision. In the pre-training stage, we parameterize the
feature extractor by differentiable invariance hyper-parameters that control
the invariances encoded by the representation. Then, for any downstream task,
both linear readout and task-specific invariance requirements can be
efficiently and effectively learned by gradient-descent. We evaluate the notion
of amortised invariances for contrastive learning over two different
modalities: vision and audio, on two widely-used contrastive learning methods
in vision: SimCLR and MoCo-v2 with popular architectures like ResNets and
Vision Transformers, and SimCLR with ResNet-18 for audio. We show that our
amortised features provide a reliable way to learn diverse downstream tasks
with different invariance requirements, while using a single feature and
avoiding task-specific pre-training. This provides an exciting perspective that
opens up new horizons in the field of general purpose representation learning.
- Abstract（参考訳）: 対照的な自己教師付き学習法は、異なるデータ拡張に対する不変性を学習することで、高品質な転送可能表現を作り出すことで有名である。
事前学習中に確立された不変性は強い帰納バイアスと解釈できる。
しかし、下流タスクの不変性要件に適合するかどうかによっては、これらは役に立たないかもしれない。
このことは、事前訓練中にタスク固有の不変性を学習するいくつかの試みにつながっているが、これらの手法は高度に計算集約され、訓練に手間がかかる。
対照的自己管理のための無形不分散学習の概念を導入する。
事前学習の段階では,特徴抽出器のパラメータ化を,表現によって符号化された不変量を制御する可変不変超パラメータで行う。
そして、ダウンストリームタスクに対して、線形読み出しとタスク固有の不変条件の両方を、勾配差により効率よく、効果的に学習することができる。
ResNets や Vision Transformers などの一般的なアーキテクチャを用いた SimCLR と MoCo-v2 と,ResNet-18 を用いた SimCLR という2つの異なる手法を用いて, 視覚と音声の2つの異なる相違点を比較検討した。
我々は、一つの機能を使用し、タスク固有の事前学習を避けながら、異なる不変条件で多様な下流タスクを学習する信頼性の高い方法を提供することを示す。
これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
関連論文リスト
- Understanding the Role of Invariance in Transfer Learning [9.220104991339104]
トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。
近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
論文 参考訳（メタデータ） (2024-07-05T07:53:52Z) - MT-SLVR: Multi-Task Self-Supervised Learning for Transformation
In(Variant) Representations [2.94944680995069]
本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。
我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
論文 参考訳（メタデータ） (2023-05-29T09:10:50Z) - CIPER: Combining Invariant and Equivariant Representations Using
Contrastive and Predictive Learning [6.117084972237769]
比較不変性と予測同変表現学習(CIPER)を導入する。
CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。
我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
論文 参考訳（メタデータ） (2023-02-05T07:50:46Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。
我々は、不変学習を償却する概念を導入する。
このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2022-07-17T21:40:37Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳（メタデータ） (2021-11-22T18:16:35Z) - What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。
我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。
我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
論文 参考訳（メタデータ） (2020-08-13T03:02:32Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。