論文の概要: A Broad Study on the Transferability of Visual Representations with
Contrastive Learning
- arxiv url: http://arxiv.org/abs/2103.13517v1
- Date: Wed, 24 Mar 2021 22:55:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 01:07:34.808251
- Title: A Broad Study on the Transferability of Visual Representations with
Contrastive Learning
- Title（参考訳）: コントラスト学習による視覚表現の伝達可能性に関する広域研究
- Authors: Ashraful Islam, Chun-Fu Chen, Rameswar Panda, Leonid Karlinsky,
Richard Radke, Rogerio Feris
- Abstract要約: 線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。
その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。
分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
- 参考スコア（独自算出の注目度）: 15.667240680328922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tremendous progress has been made in visual representation learning, notably
with the recent success of self-supervised contrastive learning methods.
Supervised contrastive learning has also been shown to outperform its
cross-entropy counterparts by leveraging labels for choosing where to contrast.
However, there has been little work to explore the transfer capability of
contrastive learning to a different domain. In this paper, we conduct a
comprehensive study on the transferability of learned representations of
different contrastive approaches for linear evaluation, full-network transfer,
and few-shot recognition on 12 downstream datasets from different domains, and
object detection tasks on MSCOCO and VOC0712. The results show that the
contrastive approaches learn representations that are easily transferable to a
different downstream task. We further observe that the joint objective of
self-supervised contrastive loss with cross-entropy/supervised-contrastive loss
leads to better transferability of these models over their supervised
counterparts. Our analysis reveals that the representations learned from the
contrastive approaches contain more low/mid-level semantics than cross-entropy
models, which enables them to quickly adapt to a new task. Our codes and models
will be publicly available to facilitate future research on transferability of
visual representations.
- Abstract（参考訳）: 視覚表現学習の進歩は、特に近年の自己指導型コントラスト学習法の成功において顕著である。
教師付きコントラスト学習は、ラベルを利用してコントラストの場所を選択することで、クロスエントロピー学習よりも優れていることが示されている。
しかし、異なる領域へのコントラスト学習の伝達能力を検討する研究はほとんど行われていない。
本稿では,リニア評価,フルネットワーク転送,および12のダウンストリームデータセットにおける少数ショット認識,およびmscocoおよびvoc0712におけるオブジェクト検出タスクに対する,異なるコントラストアプローチの学習表現の転送可能性に関する包括的研究を行う。
その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。
さらに,自己監督型コントラスト損失とクロスエントロピー/教師型コントラスト損失の併用が,教師型コントラスト損失よりも優れた転送可能性をもたらすことを観察した。
分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低・中程度のセマンティクスを含んでおり, 新たなタスクに迅速に適応できることがわかった。
私たちのコードとモデルは、視覚表現の転送可能性に関する将来の研究を促進するために公開されます。
関連論文リスト
- Constrained Multiview Representation for Self-supervised Contrastive
Learning [4.817827522417457]
本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。
周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
論文 参考訳（メタデータ） (2024-02-05T19:09:33Z) - Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。
本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
論文 参考訳（メタデータ） (2024-01-21T04:18:30Z) - Improving the Modality Representation with Multi-View Contrastive
Learning for Multimodal Sentiment Analysis [15.623293264871181]
コントラスト学習によるモダリティ表現の改良手法について検討した。
我々は,多視点コントラスト学習を用いた3段階のフレームワークを考案し,特定の目的の表現を洗練させる。
3つのオープンデータセットで実験を行い、その結果、我々のモデルの進歩を示す。
論文 参考訳（メタデータ） (2022-10-28T01:25:16Z) - R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi
Divergence [78.15455360335925]
我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。
我々の手法は R'enyi divergence の変動的下界の上に構築されている。
我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
論文 参考訳（メタデータ） (2022-08-12T13:37:05Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-08T06:32:52Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳（メタデータ） (2021-11-22T18:16:35Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-16T00:15:18Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - On Mutual Information in Contrastive Learning for Visual Representations [19.136685699971864]
視覚における「対照的」学習アルゴリズムは、伝達タスクにおいて非常によく機能する表現を学ぶために示されている。
このアルゴリズムの族は、画像の2つ以上の「ビュー」間の相互情報の低境界を最大化する。
負のサンプルとビューの選択は、これらのアルゴリズムの成功に不可欠である。
論文 参考訳（メタデータ） (2020-05-27T04:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。