論文の概要: Understanding and Improving the Role of Projection Head in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2212.11491v1
• Date: Thu, 22 Dec 2022 05:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 14:11:38.036996
• Title: Understanding and Improving the Role of Projection Head in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における投影頭部の役割理解と改善
• Authors: Kartik Gupta, Thalaiyasingam Ajanthan, Anton van den Hengel, Stephen Gould
• Abstract要約: 自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
• 参考スコア（独自算出の注目度）: 77.59320917894043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) aims to produce useful feature representations without access to any human-labeled data annotations. Due to the success of recent SSL methods based on contrastive learning, such as SimCLR, this problem has gained popularity. Most current contrastive learning approaches append a parametrized projection head to the end of some backbone network to optimize the InfoNCE objective and then discard the learned projection head after training. This raises a fundamental question: Why is a learnable projection head required if we are to discard it after training? In this work, we first perform a systematic study on the behavior of SSL training focusing on the role of the projection head layers. By formulating the projection head as a parametric component for the InfoNCE objective rather than a part of the network, we present an alternative optimization scheme for training contrastive learning based SSL frameworks. Our experimental study on multiple image classification datasets demonstrates the effectiveness of the proposed approach over alternatives in the SSL literature.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 最近のSimCLRのような対照的な学習に基づくSSLメソッドの成功により、この問題は人気を博している。 現在のコントラスト学習アプローチでは、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加してInfoNCEの目的を最適化し、トレーニング後に学習したプロジェクションヘッドを破棄する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか? 本研究ではまず,プロジェクションヘッド層の役割に着目したSSLトレーニングの動作に関する系統的研究を行う。 プロジェクションヘッドをネットワークの一部ではなくInfoNCE目的のパラメトリックコンポーネントとして定式化することにより、コントラスト学習に基づくSSLフレームワークをトレーニングするための代替最適化手法を提案する。 複数の画像分類データセットに関する実験的研究は、SSL文献における代替案に対する提案手法の有効性を示す。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Towards the Sparseness of Projection Head in Self-Supervised Learning [13.308675583018756]
  投影ヘッドの内部機構と次元崩壊現象との関係について考察した。 SparseHead - プロジェクションヘッドの空間性を効果的に制限し、自己教師付き学習(SSL)アプローチとシームレスに統合できる正規化用語である。
  論文  参考訳（メタデータ） (2023-07-18T01:16:23Z)
• Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
  自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。 本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。 提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
  論文  参考訳（メタデータ） (2023-05-31T12:24:06Z)
• Rethinking Self-Supervised Visual Representation Learning in Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
  自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。 我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。 我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
  論文  参考訳（メタデータ） (2023-03-09T16:17:52Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• STDP enhances learning by backpropagation in a spiking neural network [0.0]
  提案手法は,少量のラベル付きデータを使用する場合,ラベル付けを加味せずに精度を向上する。 イベント駆動システムのための学習手法を提案することができる。
  論文  参考訳（メタデータ） (2021-02-21T06:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。