論文の概要: What Should Not Be Contrastive in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2008.05659v2
• Date: Thu, 18 Mar 2021 21:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 23:15:02.600327
• Title: What Should Not Be Contrastive in Contrastive Learning
• Title（参考訳）: コントラスト学習で対比すべきでないこと
• Authors: Tete Xiao, Xiaolong Wang, Alexei A. Efros, Trevor Darrell
• Abstract要約: 本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
• 参考スコア（独自算出の注目度）: 110.14159883496859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent self-supervised contrastive methods have been able to produce impressive transferable visual representations by learning to be invariant to different data augmentations. However, these methods implicitly assume a particular set of representational invariances (e.g., invariance to color), and can perform poorly when a downstream task violates this assumption (e.g., distinguishing red vs. yellow cars). We introduce a contrastive learning framework which does not require prior knowledge of specific, task-dependent invariances. Our model learns to capture varying and invariant factors for visual representations by constructing separate embedding spaces, each of which is invariant to all but one augmentation. We use a multi-head network with a shared backbone which captures information across each augmentation and alone outperforms all baselines on downstream tasks. We further find that the concatenation of the invariant and varying spaces performs best across all tasks we investigate, including coarse-grained, fine-grained, and few-shot downstream classification tasks, and various data corruptions.
• Abstract（参考訳）: 最近の自己教師付きコントラスト法は、異なるデータ拡張に不変であることを学習することで、印象的な転送可能な視覚的表現を生成することができる。 しかし、これらの手法は暗黙的に特定の表現的不変性(例えば色への不変性)を仮定し、下流のタスクがこの仮定に違反した場合(例えば赤と黄色を区別する)に性能が低下することがある。 タスク依存不変性に関する事前知識を必要としない、対照的な学習フレームワークを導入する。 本モデルでは,視覚表現の変動因子および不変因子を分離埋め込み空間を構築し,それぞれが1つの加法を除いて不変となることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。 さらに,不変空間と可変空間の連結性は,粗粒度,細粒度,数ショット下流分類タスク,各種データ破損など,調査対象のすべてのタスクにおいて最もよく機能することがわかった。

関連論文リスト

• Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations [63.73044203154743]
  自己教師付き表現学習は、しばしばデータの「スタイル」属性を誘導するためにデータ拡張を使用する。 データの属性が実際に"スタイル"であり、安全に破棄されるような先入観を推論することは困難である。 スタイル機能を捨てるよりも、スタイル機能を切り離そうとする、より原則化されたアプローチを導入します。
  論文  参考訳（メタデータ） (2023-11-15T09:34:08Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Rethinking the Augmentation Module in Contrastive Learning: Learning Hierarchical Augmentation Invariance with Expanded Views [22.47152165975219]
  データ拡張モジュールは、データサンプルを2つのビューに変換するために、対照的な学習に使用される。 本稿では, 一般的なコントラスト学習フレームワークにおいて, コントラストとコントラストを考慮し, これら2つの問題を緩和する一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T04:30:46Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。