論文の概要: Contrastive Learning with Consistent Representations
- arxiv url: http://arxiv.org/abs/2302.01541v1
- Date: Fri, 3 Feb 2023 04:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 17:22:36.867547
- Title: Contrastive Learning with Consistent Representations
- Title(参考訳): 一貫性表現を用いたコントラスト学習
- Authors: Zihu Wang, Yu Wang, Hanbin Hu, Peng Li
- Abstract要約: 本稿では,一貫性表現を用いたコントラスト学習(CoCor)を提案する。
CoCorは、拡張入力データの表現空間へのマッピングを規定する新しい整合性尺度であるDA整合性(DA整合性)である。
提案手法により,2段階最適化に基づく半教師付き学習フレームワークが実現され,画像認識のための新たな最先端結果が得られた。
- 参考スコア(独自算出の注目度): 8.274769259790926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning demonstrates great promise for representation learning.
Data augmentations play a critical role in contrastive learning by providing
informative views of the data without needing the labels. However, the
performance of the existing works heavily relies on the quality of the employed
data augmentation (DA) functions, which are typically hand picked from a
restricted set of choices. While exploiting a diverse set of data augmentations
is appealing, the intricacies of DAs and representation learning may lead to
performance degradation. To address this challenge and allow for a systemic use
of large numbers of data augmentations, this paper proposes Contrastive
Learning with Consistent Representations (CoCor). At the core of CoCor is a new
consistency measure, DA consistency, which dictates the mapping of augmented
input data to the representation space such that these instances are mapped to
optimal locations in a way consistent to the intensity of the DA applied.
Furthermore, a data-driven approach is proposed to learn the optimal mapping
locations as a function of DA while maintaining a desired monotonic property
with respect to DA intensity. The proposed techniques give rise to a
semi-supervised learning framework based on bi-level optimization, achieving
new state-of-the-art results for image recognition.
- Abstract(参考訳): コントラスト学習は表現学習に非常に有望である。
データ拡張は、ラベルを必要とせずにデータの有益なビューを提供することで、コントラスト学習において重要な役割を果たす。
しかし、既存の作業の性能は、典型的には制限された選択セットから選択される、採用データ拡張(DA)関数の品質に大きく依存している。
多様なデータ拡張の活用は魅力的だが、dasと表現学習の複雑さはパフォーマンスの低下につながる可能性がある。
この課題に対処し,大量のデータ拡張の体系的利用を可能にするために,コントラスト学習(Contrastive Learning with Consistent Representations, CoCor)を提案する。
CoCorのコアとなる新しい整合性尺度であるDA整合性は、拡張入力データの表現空間へのマッピングを規定し、これらのインスタンスは適用されたDAの強度と整合した方法で最適な位置にマッピングされる。
さらに,DA強度に対して所望の単調性を維持しつつ,DAの関数としての最適マッピング位置を学習するためのデータ駆動手法を提案する。
提案手法は,バイレベル最適化に基づく半教師付き学習フレームワークを創り出し,画像認識のための新たな最先端結果を得る。
関連論文リスト
- Data Augmentation for Traffic Classification [54.92823760790628]
Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。
DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
論文 参考訳(メタデータ) (2024-01-19T15:25:09Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - Investigating Enhancements to Contrastive Predictive Coding for Human
Activity Recognition [7.086647707011785]
コントラスト予測符号化(Contrastive Predictive Coding, CPC)は、時系列データの特性を活用して効果的な表現を学習する手法である。
本研究では,アーキテクチャ,アグリゲータネットワーク,今後のタイムステップ予測を体系的に検討し,CPCの強化を提案する。
提案手法は6つのターゲットデータセットのうち4つを大幅に改善し,アプリケーションシナリオを広範囲に拡張する能力を示した。
論文 参考訳(メタデータ) (2022-11-11T12:54:58Z) - Joint Data and Feature Augmentation for Self-Supervised Representation
Learning on Point Clouds [4.723757543677507]
ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。
提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。
実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
論文 参考訳(メタデータ) (2022-11-02T14:58:03Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。
CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
論文 参考訳(メタデータ) (2021-06-11T21:45:44Z) - Heterogeneous Contrastive Learning: Encoding Spatial Information for
Compact Visual Representations [183.03278932562438]
本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。
提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
論文 参考訳(メタデータ) (2020-11-19T16:26:25Z) - Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。
具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。
提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
論文 参考訳(メタデータ) (2020-10-27T15:12:21Z) - CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for
Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。
CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。
すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文 参考訳(メタデータ) (2020-10-16T23:57:03Z) - Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。
2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。
4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
論文 参考訳(メタデータ) (2020-07-14T05:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。