論文の概要: Augmentation-aware Self-supervised Learning with Guided Projector
- arxiv url: http://arxiv.org/abs/2306.06082v1
- Date: Wed, 31 May 2023 12:24:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-18 13:02:09.323138
- Title: Augmentation-aware Self-supervised Learning with Guided Projector
- Title（参考訳）: ガイドプロジェクタによる自己教師付き学習の強化
- Authors: Marcin Przewi\k{e}\'zlikowski, Mateusz Pyla, Bartosz Zieli\'nski,
Bart{\l}omiej Twardowski, Jacek Tabor, Marek \'Smieja
- Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
適用データ拡張に不変であることを学ぶことで、SimCLRやMoCoのようなメソッドは、教師付きアプローチと同等の品質に達することができる。
本稿では,プロジェクタネットワークの変更により,そのような特性に対する感度を高めることを提案する。
- 参考スコア（独自算出の注目度）: 12.98460797233879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) is a powerful technique for learning robust
representations from unlabeled data. By learning to remain invariant to applied
data augmentations, methods such as SimCLR and MoCo are able to reach quality
on par with supervised approaches. However, this invariance may be harmful to
solving some downstream tasks which depend on traits affected by augmentations
used during pretraining, such as color. In this paper, we propose to foster
sensitivity to such characteristics in the representation space by modifying
the projector network, a common component of self-supervised architectures.
Specifically, we supplement the projector with information about augmentations
applied to images. In order for the projector to take advantage of this
auxiliary guidance when solving the SSL task, the feature extractor learns to
preserve the augmentation information in its representations. Our approach,
coined Conditional Augmentation-aware Selfsupervised Learning (CASSLE), is
directly applicable to typical joint-embedding SSL methods regardless of their
objective functions. Moreover, it does not require major changes in the network
architecture or prior knowledge of downstream tasks. In addition to an analysis
of sensitivity towards different data augmentations, we conduct a series of
experiments, which show that CASSLE improves over various SSL methods, reaching
state-of-the-art performance in multiple downstream tasks.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
適用データ拡張に不変であることを学ぶことで、SimCLRやMoCoのようなメソッドは、教師付きアプローチと同等の品質に達することができる。
しかしながら、この不変性は、色などの事前トレーニング中に使用される拡張によって影響を受ける特性に依存する下流タスクの解決に有害である可能性がある。
本稿では,自己教師付きアーキテクチャの共通コンポーネントであるプロジェクタネットワークを変更することにより,表現空間におけるその特性に対する感度を高めることを提案する。
具体的には、プロジェクタに画像に適用される拡張に関する情報を補足する。
SSLタスクを解く際に、プロジェクタがこの補助的なガイダンスを利用するために、特徴抽出器は、その表現中の拡張情報を保存することを学習する。
提案手法は条件付き拡張型自己教師付き学習 (cassle) と呼ばれ, 目的関数によらず, 通常のジョイントエンベディングssl法に直接適用できる。
さらに、ネットワークアーキテクチャやダウンストリームタスクの事前知識に大きな変更は必要ありません。
異なるデータ拡張に対する感度の解析に加えて,CASSLEはさまざまなSSLメソッドよりも改善され,複数のダウンストリームタスクで最先端のパフォーマンスに達することを示す一連の実験を行っている。
関連論文リスト
- Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。
我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。
E-SSLの実用設計の原則をいくつか明らかにする。
論文 参考訳（メタデータ） (2024-11-10T16:09:47Z) - Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。
本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。
CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。
評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
論文 参考訳（メタデータ） (2024-09-16T17:59:49Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning [0.0]
本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
論文 参考訳（メタデータ） (2024-01-02T04:00:48Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳（メタデータ） (2023-05-24T23:15:28Z) - Deciphering the Projection Head: Representation Evaluation
Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。
プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。
本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文 参考訳（メタデータ） (2023-01-28T13:13:53Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳（メタデータ） (2022-12-22T05:42:54Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳（メタデータ） (2022-05-13T23:24:48Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。