論文の概要: Transferability of Representations Learned using Supervised Contrastive
Learning Trained on a Multi-Domain Dataset
- arxiv url: http://arxiv.org/abs/2309.15486v1
- Date: Wed, 27 Sep 2023 08:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 14:45:47.668669
- Title: Transferability of Representations Learned using Supervised Contrastive
Learning Trained on a Multi-Domain Dataset
- Title（参考訳）: マルチドメインデータセットを用いた教師付きコントラスト学習による表現の伝達可能性
- Authors: Alvin De Jun Tan, Clement Tan, Chai Kiat Yeo
- Abstract要約: コントラスト学習は、クロスエントロピー損失を用いて訓練されたモデルよりも優れた品質表現を学習することが示されている。
本稿では,マルチドメインデータセットで学習したコントラスト学習を用いて学習した表現の伝達可能性について検討する。
- 参考スコア（独自算出の注目度）: 5.389242063238166
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning has shown to learn better quality representations than
models trained using cross-entropy loss. They also transfer better to
downstream datasets from different domains. However, little work has been done
to explore the transferability of representations learned using contrastive
learning when trained on a multi-domain dataset. In this paper, a study has
been conducted using the Supervised Contrastive Learning framework to learn
representations from the multi-domain DomainNet dataset and then evaluate the
transferability of the representations learned on other downstream datasets.
The fixed feature linear evaluation protocol will be used to evaluate the
transferability on 7 downstream datasets that were chosen across different
domains. The results obtained are compared to a baseline model that was trained
using the widely used cross-entropy loss. Empirical results from the
experiments showed that on average, the Supervised Contrastive Learning model
performed 6.05% better than the baseline model on the 7 downstream datasets.
The findings suggest that Supervised Contrastive Learning models can
potentially learn more robust representations that transfer better across
domains than cross-entropy models when trained on a multi-domain dataset.
- Abstract（参考訳）: コントラスト学習は、クロスエントロピー損失を用いて訓練されたモデルよりも優れた品質表現を学習することが示されている。
また、異なるドメインから下流のデータセットにより良い転送を行う。
しかし、マルチドメインデータセットでトレーニングされた場合、コントラスト学習を用いて学習した表現の転送可能性を調べるための研究はほとんど行われていない。
本稿では,マルチドメインDomainNetデータセットから表現を学習し,他の下流データセットで学習した表現の転送可能性を評価するために,Supervised Contrastive Learningフレームワークを用いて研究を行った。
固定特徴線形評価プロトコルは、異なるドメインにまたがって選択された7つのダウンストリームデータセットの転送可能性を評価するために使用される。
その結果,広く使用されているクロスエントロピー損失を用いてトレーニングしたベースラインモデルと比較した。
実験の結果,教師付きコントラスト学習モデルの平均は,7下流データセットのベースラインモデルよりも6.05%よい結果が得られた。
この結果から,教師付きコントラスト学習モデルでは,マルチドメインデータセットでトレーニングした場合のクロスエントロピーモデルよりも,ドメイン間で転送される堅牢な表現を学習できる可能性が示唆された。
関連論文リスト
- On the Transferability of Learning Models for Semantic Segmentation for
Remote Sensing Data [12.500746892824338]
近年の深層学習に基づく手法は、リモートセンシング(RS)セマンティックセグメンテーション/分類タスクにおいて従来の学習方法より優れている。
しかし、ソースドメインでトレーニングされたモデルがターゲットドメインに容易に適用できる程度に、その転送可能性に関する包括的な分析は存在しない。
本稿では,従来のディープラーニングモデル(DL)とドメイン適応手法(DA)の有効性について検討する。
論文 参考訳（メタデータ） (2023-10-16T15:13:36Z) - Self-Supervised In-Domain Representation Learning for Remote Sensing
Image Scene Classification [1.0152838128195465]
ImageNetのトレーニング済み重量を様々なリモートセンシングタスクに転送すると、許容できる結果が得られる。
近年の研究では、自己教師あり学習手法が、より差別的で伝達しやすい視覚的特徴を捉えていることが示されている。
我々はこれらの事実に動機付けられ、対照的な自己教師付き学習を用いて、リモートセンシング画像のドメイン内表現を事前訓練する。
論文 参考訳（メタデータ） (2023-02-03T15:03:07Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Intra-domain and cross-domain transfer learning for time series data --
How transferable are the features? [0.0]
本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。
伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
論文 参考訳（メタデータ） (2022-01-12T12:55:21Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - A Broad Study on the Transferability of Visual Representations with
Contrastive Learning [15.667240680328922]
線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。
その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。
分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
論文 参考訳（メタデータ） (2021-03-24T22:55:04Z) - Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。
本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。
本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
論文 参考訳（メタデータ） (2020-09-16T16:56:23Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。
畳み込み特徴抽出と微調整の有効性を評価する。
我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
論文 参考訳（メタデータ） (2020-02-29T18:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。