論文の概要: Contrastive Learning with Consistent Representations

• arxiv url: http://arxiv.org/abs/2302.01541v2
• Date: Wed, 4 Sep 2024 19:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:10:38.217101
• Title: Contrastive Learning with Consistent Representations
• Title（参考訳）: 一貫性表現を用いたコントラスト学習
• Authors: Zihu Wang, Yu Wang, Zhuotong Chen, Hanbin Hu, Peng Li,
• Abstract要約: 本稿では,Contrastive Learning with Consistent Representations CoCorを提案する。 CoCorの中心には、DA整合性と呼ばれる新しい整合性指標があります。 実験結果から,CoCorは学習した表現の一般化可能性や伝達可能性を高めることが明らかとなった。
• 参考スコア（独自算出の注目度）: 8.364383223740097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without necessitating explicit labels. Nonetheless, the efficacy of current methodologies heavily hinges on the quality of employed data augmentation (DA) functions, often chosen manually from a limited set of options. While exploiting diverse data augmentations is appealing, the complexities inherent in both DAs and representation learning can lead to performance deterioration. Addressing this challenge and facilitating the systematic incorporation of diverse data augmentations, this paper proposes Contrastive Learning with Consistent Representations CoCor. At the heart of CoCor is a novel consistency metric termed DA consistency. This metric governs the mapping of augmented input data to the representation space, ensuring that these instances are positioned optimally in a manner consistent with the applied intensity of the DA. Moreover, we propose to learn the optimal mapping locations as a function of DA, all while preserving a desired monotonic property relative to DA intensity. Experimental results demonstrate that CoCor notably enhances the generalizability and transferability of learned representations in comparison to baseline methods.
• Abstract（参考訳）: コントラスト学習は表現学習に非常に有望である。 データ拡張は、明示的なラベルを必要とせず、データの情報的なビューを提供することによって、対照的な学習において重要な役割を果たす。 それでも、現在の方法論の有効性は、使用済みデータ拡張(DA)関数の品質に大きく左右され、多くの場合、限られた選択肢から手動で選択される。 多様なデータ拡張を活用することは魅力的だが、DAと表現学習の両方に固有の複雑さは、パフォーマンスの劣化につながる可能性がある。 本稿では,この課題に対処し,多様なデータ拡張の体系的導入を促進するために,一貫性表現を用いたコントラスト学習を提案する。 CoCorの中心には、DA整合性と呼ばれる新しい整合性指標があります。 この計量は、拡張入力データの表現空間へのマッピングを制御し、これらのインスタンスがDAの応用強度と一致する方法で最適に配置されることを保証する。 さらに,DA強度に対して所望の単調特性を保ちながら,DAの関数として最適マッピング位置を学習することを提案する。 実験結果から,CoCorはベースライン法と比較して,学習した表現の一般化可能性や伝達性を向上させることが明らかとなった。

関連論文リスト

• LAC: Graph Contrastive Learning with Learnable Augmentation in Continuous Space [16.26882307454389]
  直交連続空間における学習可能なデータ拡張を伴うグラフコントラスト学習フレームワークであるLACを紹介する。 拡張中にグラフデータ中の代表情報をキャプチャするために,連続的なビューオーグメンタを導入する。 本稿ではInfoBalという情報理論の原理を提案し,それに対応する前提課題を提案する。 実験の結果,LACは最先端のフレームワークよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T10:47:15Z)
• Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning [57.83232242068982]
  データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。 サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。 本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
  論文  参考訳（メタデータ） (2023-05-25T15:46:20Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
  我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。 すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
  論文  参考訳（メタデータ） (2020-10-16T23:57:03Z)
• Learning Unbiased Representations via R\'enyi Minimization [13.61565693336172]
  本稿では,HGR(Hirschfeld-Gebel-Renyi)最大相関係数を用いて,不偏表現を学習する逆アルゴリズムを提案する。 我々は、我々のアプローチを実証的に評価し、比較し、この分野における既存の作業よりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2020-09-07T15:48:24Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。