論文の概要: Equivariant Contrastive Learning

• arxiv url: http://arxiv.org/abs/2111.00899v1
• Date: Thu, 28 Oct 2021 17:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 15:02:00.289530
• Title: Equivariant Contrastive Learning
• Title（参考訳）: 同変コントラスト学習
• Authors: Rumen Dangovski, Li Jing, Charlotte Loh, Seungwook Han, Akash Srivastava, Brian Cheung, Pulkit Agrawal and Marin Solja\v{c}i\'c
• Abstract要約: 最先端の自己教師型学習(SSL)では、事前学習は意味的に良い表現を生成する。 私たちは人気のあるSSLメソッドを、Equivariant Self-Supervised Learning (E-SSL)という名前のより一般的なフレームワークに拡張します。 いくつかのコンピュータビジョンベンチマークにおいて,E-SSLの有効性を実証的に示す。
• 参考スコア（独自算出の注目度）: 20.369942206674576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In state-of-the-art self-supervised learning (SSL) pre-training produces semantically good representations by encouraging them to be invariant under meaningful transformations prescribed from human knowledge. In fact, the property of invariance is a trivial instance of a broader class called equivariance, which can be intuitively understood as the property that representations transform according to the way the inputs transform. Here, we show that rather than using only invariance, pre-training that encourages non-trivial equivariance to some transformations, while maintaining invariance to other transformations, can be used to improve the semantic quality of representations. Specifically, we extend popular SSL methods to a more general framework which we name Equivariant Self-Supervised Learning (E-SSL). In E-SSL, a simple additional pre-training objective encourages equivariance by predicting the transformations applied to the input. We demonstrate E-SSL's effectiveness empirically on several popular computer vision benchmarks. Furthermore, we demonstrate usefulness of E-SSL for applications beyond computer vision; in particular, we show its utility on regression problems in photonics science. We will release our code.
• Abstract（参考訳）: 最先端の自己教師型学習(SSL)では、人間の知識から規定された意味のある変換の下で意味論的に優れた表現を奨励することで、意味論的に優れた表現を生み出す。 実際、不変性の性質は同値性と呼ばれるより広いクラスの自明な例であり、入力の変換方法に従って表現が変換される性質として直感的に理解することができる。 ここでは,不変性のみを用いるのではなく,ある変換に対する非自明な同値性を促進する事前学習が,他の変換に対する不変性を維持しながら,表現の意味的品質を改善するために有効であることを示す。 具体的には、一般的なSSLメソッドを、Equivariant Self-Supervised Learning (E-SSL)と名付けたより一般的なフレームワークに拡張する。 E-SSLでは、単純な事前学習目的が入力に適用される変換を予測することによって同値性を促進する。 いくつかのコンピュータビジョンベンチマークにおいてE-SSLの有効性を実証的に示す。 さらに,コンピュータビジョン以外の応用におけるE-SSLの有用性を実証し,特にフォトニクス科学における回帰問題に対するその有用性を示す。 私たちはコードを公開します。

関連論文リスト

• Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection [37.142470149311904]
  本研究では,空間的および時間的拡張を両立させることにより,時間的同変学習の枠組みを提案する。 既存の等変および不変のアプローチを多くの設定で上回る3次元物体検出のための事前学習法を示す。
  論文  参考訳（メタデータ） (2024-04-17T20:41:49Z)
• ESCL: Equivariant Self-Contrastive Learning for Sentence Representations [16.601370864663213]
  感性変換をフル活用するために,同変自己比較学習(ESCL)手法を提案する。 提案手法は,従来の手法に比べて学習パラメータを少なくしながら,より良い結果が得られる。
  論文  参考訳（メタデータ） (2023-03-09T09:52:28Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Learning Instance-Specific Augmentations by Capturing Local Invariances [62.70897571389785]
  InstaAugは、データから入力固有の拡張を自動的に学習する方法である。 InstaAugは、幅広い変換クラスに対して意味のある入力依存の強化を学ぶことを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-31T18:38:06Z)
• A Generic Self-Supervised Framework of Learning Invariant Discriminative Features [9.614694312155798]
  本稿では,制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。 提案手法は,AE構造に基づく最先端の表現学習手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-14T18:09:43Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Improving Transformation Invariance in Contrastive Representation Learning [31.223892428863238]
  本稿では、新しい正規化器を用いて変換下で表現がどのように変化するかを制御するコントラスト学習のための学習目標を提案する。 第二に、元の入力の複数の変換からのエンコーディングを結合した機能平均化アプローチを導入することにより、テスト時間表現の生成方法を変更することを提案する。 第三に、複数の下流タスクを持つ微分可能生成プロセスの文脈において、私たちのアイデアを探求するために、新しいSpirographデータセットを導入します。
  論文  参考訳（メタデータ） (2020-10-19T13:49:29Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。