論文の概要: Contrastive Learning with Consistent Representations
- arxiv url: http://arxiv.org/abs/2302.01541v2
- Date: Wed, 4 Sep 2024 19:44:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 07:10:38.217101
- Title: Contrastive Learning with Consistent Representations
- Title(参考訳): 一貫性表現を用いたコントラスト学習
- Authors: Zihu Wang, Yu Wang, Zhuotong Chen, Hanbin Hu, Peng Li,
- Abstract要約: 本稿では,Contrastive Learning with Consistent Representations CoCorを提案する。
CoCorの中心には、DA整合性と呼ばれる新しい整合性指標があります。
実験結果から,CoCorは学習した表現の一般化可能性や伝達可能性を高めることが明らかとなった。
- 参考スコア(独自算出の注目度): 8.364383223740097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without necessitating explicit labels. Nonetheless, the efficacy of current methodologies heavily hinges on the quality of employed data augmentation (DA) functions, often chosen manually from a limited set of options. While exploiting diverse data augmentations is appealing, the complexities inherent in both DAs and representation learning can lead to performance deterioration. Addressing this challenge and facilitating the systematic incorporation of diverse data augmentations, this paper proposes Contrastive Learning with Consistent Representations CoCor. At the heart of CoCor is a novel consistency metric termed DA consistency. This metric governs the mapping of augmented input data to the representation space, ensuring that these instances are positioned optimally in a manner consistent with the applied intensity of the DA. Moreover, we propose to learn the optimal mapping locations as a function of DA, all while preserving a desired monotonic property relative to DA intensity. Experimental results demonstrate that CoCor notably enhances the generalizability and transferability of learned representations in comparison to baseline methods.
- Abstract(参考訳): コントラスト学習は表現学習に非常に有望である。
データ拡張は、明示的なラベルを必要とせず、データの情報的なビューを提供することによって、対照的な学習において重要な役割を果たす。
それでも、現在の方法論の有効性は、使用済みデータ拡張(DA)関数の品質に大きく左右され、多くの場合、限られた選択肢から手動で選択される。
多様なデータ拡張を活用することは魅力的だが、DAと表現学習の両方に固有の複雑さは、パフォーマンスの劣化につながる可能性がある。
本稿では,この課題に対処し,多様なデータ拡張の体系的導入を促進するために,一貫性表現を用いたコントラスト学習を提案する。
CoCorの中心には、DA整合性と呼ばれる新しい整合性指標があります。
この計量は、拡張入力データの表現空間へのマッピングを制御し、これらのインスタンスがDAの応用強度と一致する方法で最適に配置されることを保証する。
さらに,DA強度に対して所望の単調特性を保ちながら,DAの関数として最適マッピング位置を学習することを提案する。
実験結果から,CoCorはベースライン法と比較して,学習した表現の一般化可能性や伝達性を向上させることが明らかとなった。
関連論文リスト
- Data Augmentation for Traffic Classification [54.92823760790628]
Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。
DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
論文 参考訳(メタデータ) (2024-01-19T15:25:09Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - Investigating Enhancements to Contrastive Predictive Coding for Human
Activity Recognition [7.086647707011785]
コントラスト予測符号化(Contrastive Predictive Coding, CPC)は、時系列データの特性を活用して効果的な表現を学習する手法である。
本研究では,アーキテクチャ,アグリゲータネットワーク,今後のタイムステップ予測を体系的に検討し,CPCの強化を提案する。
提案手法は6つのターゲットデータセットのうち4つを大幅に改善し,アプリケーションシナリオを広範囲に拡張する能力を示した。
論文 参考訳(メタデータ) (2022-11-11T12:54:58Z) - Joint Data and Feature Augmentation for Self-Supervised Representation
Learning on Point Clouds [4.723757543677507]
ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。
提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。
実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
論文 参考訳(メタデータ) (2022-11-02T14:58:03Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。
CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
論文 参考訳(メタデータ) (2021-06-11T21:45:44Z) - Heterogeneous Contrastive Learning: Encoding Spatial Information for
Compact Visual Representations [183.03278932562438]
本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。
提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
論文 参考訳(メタデータ) (2020-11-19T16:26:25Z) - Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。
具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。
提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
論文 参考訳(メタデータ) (2020-10-27T15:12:21Z) - CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for
Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。
CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。
すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文 参考訳(メタデータ) (2020-10-16T23:57:03Z) - Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。
2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。
4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
論文 参考訳(メタデータ) (2020-07-14T05:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。