論文の概要: Unraveling Projection Heads in Contrastive Learning: Insights from Expansion and Shrinkage

• arxiv url: http://arxiv.org/abs/2306.03335v1
• Date: Tue, 6 Jun 2023 01:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:54:39.757176
• Title: Unraveling Projection Heads in Contrastive Learning: Insights from Expansion and Shrinkage
• Title（参考訳）: コントラスト学習における投影ヘッドの解き放たれ--拡大と縮小からの洞察
• Authors: Yu Gui, Cong Ma, Yiqiao Zhong
• Abstract要約: 本研究の目的は、プロジェクターで学習した表現が、その後に学習した表現よりも優れる観察現象をデミスティフィケートすることである。 我々は、プロジェクターに対する対照的な損失によって引き起こされる2つの重要な効果(膨張と収縮)を同定する。 本稿では,プロジェクタの挙動を正確にモデル化する線形プロジェクタ群を提案する。
• 参考スコア（独自算出の注目度）: 9.540723320001621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the role of projection heads, also known as projectors, within the encoder-projector framework (e.g., SimCLR) used in contrastive learning. We aim to demystify the observed phenomenon where representations learned before projectors outperform those learned after -- measured using the downstream linear classification accuracy, even when the projectors themselves are linear. In this paper, we make two significant contributions towards this aim. Firstly, through empirical and theoretical analysis, we identify two crucial effects -- expansion and shrinkage -- induced by the contrastive loss on the projectors. In essence, contrastive loss either expands or shrinks the signal direction in the representations learned by an encoder, depending on factors such as the augmentation strength, the temperature used in contrastive loss, etc. Secondly, drawing inspiration from the expansion and shrinkage phenomenon, we propose a family of linear transformations to accurately model the projector's behavior. This enables us to precisely characterize the downstream linear classification accuracy in the high-dimensional asymptotic limit. Our findings reveal that linear projectors operating in the shrinkage (or expansion) regime hinder (or improve) the downstream classification accuracy. This provides the first theoretical explanation as to why (linear) projectors impact the downstream performance of learned representations. Our theoretical findings are further corroborated by extensive experiments on both synthetic data and real image data.
• Abstract（参考訳）: コントラスト学習に使用されるエンコーダ-プロジェクタフレームワーク(例えばsimclr)におけるプロジェクションヘッド(プロジェクタとしても知られる)の役割について検討する。 本稿では, プロジェクタ自体が線形である場合でも, 下流線形分類精度を用いて測定し, プロジェクタが学習した結果よりも, プロジェクタ前で学習した表現が, 学習後の表現よりも優れる, 観察された現象を解き明かすことを目的とする。 本質的には、コントラスト損失は、エンコーダが学習した表現の信号方向を、強化強度やコントラスト損失に使用される温度などによって拡大または縮小する。 第二に、膨張・収縮現象からインスピレーションを得た線形変換系を提案し、プロジェクターの挙動を正確にモデル化する。 これにより,高次元漸近極限における下流線形分類精度を正確に特徴付けることができる。 以上の結果から,縮小(あるいは拡大)状態のリニアプロジェクタは下流分類精度を阻害(または改善)することが明らかとなった。 これは、(線形)プロジェクタが学習された表現の下流のパフォーマンスになぜ影響するかに関する最初の理論的説明を提供する。 我々の理論的知見は合成データと実画像データの両方について広範な実験によってさらに裏付けられている。

関連論文リスト

• Improving Nonlinear Projection Heads using Pretrained Autoencoder Embeddings [0.10241134756773229]
  予め訓練されたオートエンコーダをプロジェクターに埋め込むことで、分類精度を平均で2.9%または1.7%まで向上させることができる。 また,プロジェクタ内のシグモイドとタンの活性化関数を用いることで,ピークおよび平均分類精度においてReLUより優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-08-25T11:10:33Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Investigating the Benefits of Projection Head for Representation Learning [11.20245728716827]
  高品質な表現を得るための効果的なテクニックは、トレーニング中にエンコーダの上にプロジェクションヘッドを追加し、それを破棄し、プリプロジェクション表現を使用することである。 プロジェクション前表現は損失関数によって直接最適化されていない。 トレーニングアルゴリズムの暗黙のバイアスは、階層的にプログレッシブな機能の重み付けにつながり、レイヤーに深く入り込むにつれて、機能がますます不平等になることを示している。
  論文  参考訳（メタデータ） (2024-03-18T00:48:58Z)
• ViT-Calibrator: Decision Stream Calibration for Vision Transformer [49.60474757318486]
  本稿では、一般的な視覚変換器の性能を高めるための、決定ストリームと呼ばれる新しいパラダイムを提案する。 異なるトークンと複数の次元の関連係数の相関関係を探索し,学習過程における情報伝達機構について光を当てた。
  論文  参考訳（メタデータ） (2023-04-10T02:40:24Z)
• Understanding the Role of the Projector in Knowledge Distillation [22.698845243751293]
  機能マッチングとメートル法学習問題としての知識蒸留の有効性を再考する。 我々は3つの重要な設計決定、すなわち正規化、ソフト最大関数、投影層を検証する。 ImageNetのDeiT-Tiで、77.2%のトップ1の精度を実現しました。
  論文  参考訳（メタデータ） (2023-03-20T13:33:31Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Toward a Geometrical Understanding of Self-supervised Contrastive Learning [55.83778629498769]
  自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。 メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。 本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
  論文  参考訳（メタデータ） (2022-05-13T23:24:48Z)
• Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence [100.6913091147422]
  既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。 本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
  論文  参考訳（メタデータ） (2021-06-03T14:29:19Z)
• Direct phase modulation via optical injection: theoretical study [50.591267188664666]
  本研究では,自然発生騒音の影響について検討し,利得非直線性の役割について検討し,温度変動の影響について考察した。 我々は,光注入型位相変調器の試作・運用において,これらの特徴を考慮に入れた実用的な手順を定式化しようと試みている。
  論文  参考訳（メタデータ） (2020-11-18T13:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。