論文の概要: Contrastive Learning with Consistent Representations

• arxiv url: http://arxiv.org/abs/2302.01541v1
• Date: Fri, 3 Feb 2023 04:34:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:22:36.867547
• Title: Contrastive Learning with Consistent Representations
• Title（参考訳）: 一貫性表現を用いたコントラスト学習
• Authors: Zihu Wang, Yu Wang, Hanbin Hu, Peng Li
• Abstract要約: 本稿では,一貫性表現を用いたコントラスト学習(CoCor)を提案する。 CoCorは、拡張入力データの表現空間へのマッピングを規定する新しい整合性尺度であるDA整合性(DA整合性)である。 提案手法により,2段階最適化に基づく半教師付き学習フレームワークが実現され,画像認識のための新たな最先端結果が得られた。
• 参考スコア（独自算出の注目度）: 8.274769259790926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without needing the labels. However, the performance of the existing works heavily relies on the quality of the employed data augmentation (DA) functions, which are typically hand picked from a restricted set of choices. While exploiting a diverse set of data augmentations is appealing, the intricacies of DAs and representation learning may lead to performance degradation. To address this challenge and allow for a systemic use of large numbers of data augmentations, this paper proposes Contrastive Learning with Consistent Representations (CoCor). At the core of CoCor is a new consistency measure, DA consistency, which dictates the mapping of augmented input data to the representation space such that these instances are mapped to optimal locations in a way consistent to the intensity of the DA applied. Furthermore, a data-driven approach is proposed to learn the optimal mapping locations as a function of DA while maintaining a desired monotonic property with respect to DA intensity. The proposed techniques give rise to a semi-supervised learning framework based on bi-level optimization, achieving new state-of-the-art results for image recognition.
• Abstract（参考訳）: コントラスト学習は表現学習に非常に有望である。 データ拡張は、ラベルを必要とせずにデータの有益なビューを提供することで、コントラスト学習において重要な役割を果たす。 しかし、既存の作業の性能は、典型的には制限された選択セットから選択される、採用データ拡張(DA)関数の品質に大きく依存している。 多様なデータ拡張の活用は魅力的だが、dasと表現学習の複雑さはパフォーマンスの低下につながる可能性がある。 この課題に対処し,大量のデータ拡張の体系的利用を可能にするために,コントラスト学習(Contrastive Learning with Consistent Representations, CoCor)を提案する。 CoCorのコアとなる新しい整合性尺度であるDA整合性は、拡張入力データの表現空間へのマッピングを規定し、これらのインスタンスは適用されたDAの強度と整合した方法で最適な位置にマッピングされる。 さらに,DA強度に対して所望の単調性を維持しつつ,DAの関数としての最適マッピング位置を学習するためのデータ駆動手法を提案する。 提案手法は,バイレベル最適化に基づく半教師付き学習フレームワークを創り出し,画像認識のための新たな最先端結果を得る。

関連論文リスト

• LAC: Graph Contrastive Learning with Learnable Augmentation in Continuous Space [16.26882307454389]
  直交連続空間における学習可能なデータ拡張を伴うグラフコントラスト学習フレームワークであるLACを紹介する。 拡張中にグラフデータ中の代表情報をキャプチャするために,連続的なビューオーグメンタを導入する。 本稿ではInfoBalという情報理論の原理を提案し,それに対応する前提課題を提案する。 実験の結果,LACは最先端のフレームワークよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T10:47:15Z)
• Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning [57.83232242068982]
  データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。 サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。 本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
  論文  参考訳（メタデータ） (2023-05-25T15:46:20Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
  我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。 すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
  論文  参考訳（メタデータ） (2020-10-16T23:57:03Z)
• Learning Unbiased Representations via R\'enyi Minimization [13.61565693336172]
  本稿では,HGR(Hirschfeld-Gebel-Renyi)最大相関係数を用いて,不偏表現を学習する逆アルゴリズムを提案する。 我々は、我々のアプローチを実証的に評価し、比較し、この分野における既存の作業よりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2020-09-07T15:48:24Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。