論文の概要: Augmentation-aware Self-supervised Learning with Conditioned Projector
- arxiv url: http://arxiv.org/abs/2306.06082v2
- Date: Sat, 2 Dec 2023 20:52:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 23:06:55.028405
- Title: Augmentation-aware Self-supervised Learning with Conditioned Projector
- Title(参考訳): 条件付きプロジェクタを用いた自己教師付き学習
- Authors: Marcin Przewi\k{e}\'zlikowski, Mateusz Pyla, Bartosz Zieli\'nski,
Bart{\l}omiej Twardowski, Jacek Tabor, Marek \'Smieja
- Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
- 参考スコア(独自算出の注目度): 15.285739610439093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) is a powerful technique for learning robust
representations from unlabeled data. By learning to remain invariant to applied
data augmentations, methods such as SimCLR and MoCo are able to reach quality
on par with supervised approaches. However, this invariance may be harmful to
solving some downstream tasks which depend on traits affected by augmentations
used during pretraining, such as color. In this paper, we propose to foster
sensitivity to such characteristics in the representation space by modifying
the projector network, a common component of self-supervised architectures.
Specifically, we supplement the projector with information about augmentations
applied to images. In order for the projector to take advantage of this
auxiliary conditioning when solving the SSL task, the feature extractor learns
to preserve the augmentation information in its representations. Our approach,
coined Conditional Augmentation-aware Self-supervised Learning (CASSLE), is
directly applicable to typical joint-embedding SSL methods regardless of their
objective functions. Moreover, it does not require major changes in the network
architecture or prior knowledge of downstream tasks. In addition to an analysis
of sensitivity towards different data augmentations, we conduct a series of
experiments, which show that CASSLE improves over various SSL methods, reaching
state-of-the-art performance in multiple downstream tasks.
- Abstract(参考訳): 自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
適用データ拡張に不変であることを学ぶことで、SimCLRやMoCoのようなメソッドは、教師付きアプローチと同等の品質に達することができる。
しかしながら、この不変性は、色などの事前トレーニング中に使用される拡張によって影響を受ける特性に依存する下流タスクの解決に有害である可能性がある。
本稿では,自己教師付きアーキテクチャの共通コンポーネントであるプロジェクタネットワークを変更することにより,表現空間におけるその特性に対する感度を高めることを提案する。
具体的には、プロジェクタに画像に適用される拡張に関する情報を補足する。
SSLタスクの解決時に、プロジェクタがこの補助条件を活用できるように、特徴抽出器は、その表現中の拡張情報を保存することを学習する。
提案手法は, 目標関数によらず, 通常の共同埋め込み型SSL手法に直接適用可能な条件拡張型自己教師学習(CASSLE)である。
さらに、ネットワークアーキテクチャやダウンストリームタスクの事前知識に大きな変更は必要ありません。
異なるデータ拡張に対する感度の解析に加えて,CASSLEはさまざまなSSLメソッドよりも改善され,複数のダウンストリームタスクで最先端のパフォーマンスに達することを示す一連の実験を行っている。
関連論文リスト
- Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning [0.0]
本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
論文 参考訳(メタデータ) (2024-01-02T04:00:48Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳(メタデータ) (2023-08-28T07:55:01Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳(メタデータ) (2023-05-24T23:15:28Z) - MAST: Masked Augmentation Subspace Training for Generalizable
Self-Supervised Priors [48.02275488333873]
最近の自己監視学習(SSL)メソッドは、異なるデータ拡張に不変な特徴表現を学習することができる。
本稿では,ダウンストリームタスクにまたがる多種多様なタスクをうまく一般化する自己教師機能について学ぶことを目的とする。
論文 参考訳(メタデータ) (2023-03-07T06:38:48Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T09:26:20Z) - Deciphering the Projection Head: Representation Evaluation
Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。
プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。
本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文 参考訳(メタデータ) (2023-01-28T13:13:53Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳(メタデータ) (2022-12-22T05:42:54Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-13T23:24:48Z) - Relational Self-Supervised Learning [84.08307840814044]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-07-20T06:53:07Z) - Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。
SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。
この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
論文 参考訳(メタデータ) (2021-06-15T17:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。