論文の概要: CIPER: Combining Invariant and Equivariant Representations Using
Contrastive and Predictive Learning
- arxiv url: http://arxiv.org/abs/2302.02330v1
- Date: Sun, 5 Feb 2023 07:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 18:54:22.545048
- Title: CIPER: Combining Invariant and Equivariant Representations Using
Contrastive and Predictive Learning
- Title（参考訳）: CIPER: コントラスト学習と予測学習による不変表現と等価表現の組み合わせ
- Authors: Xia Xu, Jochen Triesch
- Abstract要約: 本研究は、比較不変性と予測同変表現学習(CIPER)を導入する。
CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。
我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
- 参考スコア（独自算出の注目度）: 6.117084972237769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised representation learning (SSRL) methods have shown great
success in computer vision. In recent studies, augmentation-based contrastive
learning methods have been proposed for learning representations that are
invariant or equivariant to pre-defined data augmentation operations. However,
invariant or equivariant features favor only specific downstream tasks
depending on the augmentations chosen. They may result in poor performance when
a downstream task requires the counterpart of those features (e.g., when the
task is to recognize hand-written digits while the model learns to be invariant
to in-plane image rotations rendering it incapable of distinguishing "9" from
"6"). This work introduces Contrastive Invariant and Predictive Equivariant
Representation learning (CIPER). CIPER comprises both invariant and equivariant
learning objectives using one shared encoder and two different output heads on
top of the encoder. One output head is a projection head with a
state-of-the-art contrastive objective to encourage invariance to
augmentations. The other is a prediction head estimating the augmentation
parameters, capturing equivariant features. Both heads are discarded after
training and only the encoder is used for downstream tasks. We evaluate our
method on static image tasks and time-augmented image datasets. Our results
show that CIPER outperforms a baseline contrastive method on various tasks,
especially when the downstream task requires the encoding of
augmentation-related information.
- Abstract（参考訳）: 自己教師付き表現学習(SSRL)法はコンピュータビジョンにおいて大きな成功を収めている。
近年,事前定義されたデータ拡張操作に不変あるいは同値な表現を学習するために,拡張に基づくコントラスト学習法が提案されている。
しかし、不変あるいは同変の特徴は、選択された拡張に依存する特定の下流タスクのみを好む。
ダウンストリームタスクがこれらの特徴に対応する必要がある場合(例えば、タスクが手書きの数字を認識する場合)、モデルが"9"と"6"を区別できないように平面内画像回転に不変であることを学ぶ場合)、パフォーマンスが低下する可能性がある。
本研究は、Contrastive Invariant and Predictive Equivariant Representation Learning (CIPER)を紹介する。
ciperは1つの共有エンコーダと2つの異なる出力ヘッドを用いた不変および同変学習目的の両方を含む。
1つの出力ヘッドは、拡張への不変性を奨励する最先端のコントラスト目的を持つプロジェクションヘッドである。
もう1つは、拡張パラメータを推定し、同変の特徴を捉える予測ヘッドである。
両方のヘッドはトレーニング後に破棄され、エンコーダのみが下流タスクに使用される。
我々は静的画像タスクと時間拡張画像データセットについて評価する。
以上の結果から,ciperは様々なタスクにおいてベースラインコントラスト法よりも優れており,特に下流タスクでは拡張関連情報のエンコーディングが必要となる。
関連論文リスト
- What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
対照的な自己監督のために, 償却不変学習の概念を導入する。
我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。
これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
論文 参考訳（メタデータ） (2023-02-24T16:15:11Z) - Self-supervised learning of Split Invariant Equivariant representations [0.0]
55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。
我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。
SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
論文 参考訳（メタデータ） (2023-02-14T07:53:18Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳（メタデータ） (2021-11-22T18:16:35Z) - Improving Transferability of Representations via Augmentation-Aware
Self-Supervision [117.15012005163322]
AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。
私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。
AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
論文 参考訳（メタデータ） (2021-11-18T10:43:50Z) - Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。
まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
論文 参考訳（メタデータ） (2021-08-06T07:26:08Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。
我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。
我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
論文 参考訳（メタデータ） (2020-08-13T03:02:32Z) - Demystifying Contrastive Self-Supervised Learning: Invariances,
Augmentations and Dataset Biases [34.02639091680309]
近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。
我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。
第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
論文 参考訳（メタデータ） (2020-07-28T00:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。