論文の概要: Augmentation-aware Self-supervised Learning with Conditioned Projector
- arxiv url: http://arxiv.org/abs/2306.06082v3
- Date: Tue, 15 Oct 2024 16:31:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:59:10.302111
- Title: Augmentation-aware Self-supervised Learning with Conditioned Projector
- Title（参考訳）: 条件付きプロジェクタを用いた拡張型自己教師型学習
- Authors: Marcin Przewięźlikowski, Mateusz Pyla, Bartosz Zieliński, Bartłomiej Twardowski, Jacek Tabor, Marek Śmieja,
- Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
- 参考スコア（独自算出の注目度）: 6.720605329045581
- License:
- Abstract: Self-supervised learning (SSL) is a powerful technique for learning from unlabeled data. By learning to remain invariant to applied data augmentations, methods such as SimCLR and MoCo can reach quality on par with supervised approaches. However, this invariance may be detrimental for solving downstream tasks that depend on traits affected by augmentations used during pretraining, such as color. In this paper, we propose to foster sensitivity to such characteristics in the representation space by modifying the projector network, a common component of self-supervised architectures. Specifically, we supplement the projector with information about augmentations applied to images. For the projector to take advantage of this auxiliary conditioning when solving the SSL task, the feature extractor learns to preserve the augmentation information in its representations. Our approach, coined Conditional Augmentation-aware Self-supervised Learning (CASSLE), is directly applicable to typical joint-embedding SSL methods regardless of their objective functions. Moreover, it does not require major changes in the network architecture or prior knowledge of downstream tasks. In addition to an analysis of sensitivity towards different data augmentations, we conduct a series of experiments, which show that CASSLE improves over various SSL methods, reaching state-of-the-art performance in multiple downstream tasks.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。
適用データ拡張に不変であることを学ぶことで、SimCLRやMoCoといったメソッドは、教師付きアプローチと同等の品質に達することができる。
しかし、この不変性は、色などの事前トレーニングで使用される強化によって影響を受ける特性に依存する下流タスクの解決に有害である可能性がある。
本稿では,自己教師型アーキテクチャの共通コンポーネントであるプロジェクタネットワークを改良し,表現空間におけるそのような特性に対する感受性を高めることを提案する。
具体的には、プロジェクタに画像に適用される拡張に関する情報を補足する。
SSLタスクを解決する際に、プロジェクタがこの補助条件を活用できるように、特徴抽出器は、その表現中の拡張情報を保存することを学習する。
提案手法は, 目標関数によらず, 通常の共同埋め込み型SSL手法に直接適用可能な条件拡張型自己教師学習(CASSLE)である。
さらに、ネットワークアーキテクチャや下流タスクの事前知識に大きな変更は必要ありません。
異なるデータ拡張に対する感度の解析に加えて,CASSLEはさまざまなSSLメソッドよりも改善され,複数のダウンストリームタスクで最先端のパフォーマンスに達することを示す一連の実験を行っている。
関連論文リスト
- Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。
本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。
CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。
評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
論文 参考訳（メタデータ） (2024-09-16T17:59:49Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning [0.0]
本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
論文 参考訳（メタデータ） (2024-01-02T04:00:48Z) - SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer [20.769072160203038]
SASSL: 自己監視学習のためのスタイル拡張は、ニューラルスタイル転送に基づく新しいデータ拡張技術である。
SASSLはイメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保存しながらそのスタイルにのみ適用される。
SASSLは、イメージネット上のトップ1画像分類の精度を、確立された自己監督手法と比較して最大2ポイント向上する。
論文 参考訳（メタデータ） (2023-12-02T17:25:30Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳（メタデータ） (2023-08-28T07:55:01Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳（メタデータ） (2023-05-24T23:15:28Z) - Deciphering the Projection Head: Representation Evaluation
Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。
プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。
本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文 参考訳（メタデータ） (2023-01-28T13:13:53Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳（メタデータ） (2022-12-22T05:42:54Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳（メタデータ） (2022-05-13T23:24:48Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。