論文の概要: On the Role of the Projector in Contrastive Self-Supervised Learning: Last-Layer Rank Dynamics Drive Representation Quality

• arxiv url: http://arxiv.org/abs/2609.26334v1
• Date: Tue, 22 Sep 2026 12:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.361869
• Title: On the Role of the Projector in Contrastive Self-Supervised Learning: Last-Layer Rank Dynamics Drive Representation Quality
• Title（参考訳）: コントラスト型自己監督学習におけるプロジェクタの役割:最終階層のダイナミックドライブ表現品質
• Abstract要約: 本研究では,プロジェクタとエンコーダの内部で何が起こるのかを実証的研究と分析により検討する。 この知見に感化されて、我々は、最終層に特化して適用される重み正規化戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.785290257293072
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The dimensional collapse of representations in self-supervised contrastive learning is an ever-present issue. One notable technique to prevent such a collapse of representations is using a multi-layered perceptron network called Projector. In several works, the projector has been found to heavily influence the quality of representations learned in a self-supervised contrastive pre-training task. However, the question still lingers. What role does the projector play? Assuming the projector mitigates dimensional collapse, what prevents the terminal layer of the base encoder from functioning as the projector in the absence of an explicit multi-layer perceptron (MLP) head? In this work, we intend to study what happens inside the projector by examining the rank dynamics of the same and the encoder through empirical study and analysis. Through mathematical analysis, we observe that the effect of rank reduction predominantly occurs in the last layer. Motivated by this insight, we propose a weight regularization strategy applied specifically to the last layer. We demonstrate that this targeted approach yields better performance than applying orthogonal weight regularization across the entire network (WeRank), both with and without a projector. Our method improves Top-1 accuracy by more than 1% on SimCLR on the ImageNet100 dataset and consistently outperforms baseline SimCLR variants on CIFAR datasets, supporting our interpretation of the projector's role.
• Abstract（参考訳）: 自己指導型コントラスト学習における表現の次元的崩壊は、常在的な問題である。 このような表現の崩壊を防ぐ1つの顕著なテクニックは、プロジェクターと呼ばれる多層パーセプトロンネットワークを使用することである。 いくつかの研究において、プロジェクターは自己監督型コントラクティブ事前学習タスクで学んだ表現の質に大きな影響を与えることが判明した。 しかし、疑問はまだ残る。 プロジェクターの役割は? プロジェクターが次元崩壊を緩和すると、明示的な多層パーセプトロン(MLP)ヘッドが存在しない場合、ベースエンコーダの終端層がプロジェクターとして機能しないのか? 本研究では,プロジェクタの内部で発生する現象を,経験的研究と分析により検討する。 数式解析により,最終層ではランク低下の影響が主に発生することがわかった。 この知見に感化されて、我々は、最終層に特化して適用される重み正規化戦略を提案する。 対象とするアプローチは,プロジェクタの有無に関わらず,ネットワーク全体(WeRank)の直交量正規化よりも優れた性能が得られることを示す。 提案手法は,ImageNet100データセット上のSimCLRにおいて1%以上の精度向上を実現し,CIFARデータセット上のベースラインSimCLR変種を一貫して上回り,プロジェクタの役割の解釈をサポートする。

関連論文リスト

• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• Projection Head is Secretly an Information Bottleneck [33.755883011145755]
  我々は情報理論の観点から、投射頭部の深い理論的理解を発展させる。 プロジェクタより前の特徴の下流性能に関する理論的保証を確立することにより、有効なプロジェクタが情報ボトルネックとして機能することを明らかにする。 提案手法は,様々な実世界のデータセットにおいて,ダウンストリーム性能が一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-03-01T14:23:31Z)
• Improving Nonlinear Projection Heads using Pretrained Autoencoder Embeddings [0.10241134756773229]
  予め訓練されたオートエンコーダをプロジェクターに埋め込むことで、分類精度を平均で2.9%または1.7%まで向上させることができる。 また,プロジェクタ内のシグモイドとタンの活性化関数を用いることで,ピークおよび平均分類精度においてReLUより優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-08-25T11:10:33Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Investigating the Benefits of Projection Head for Representation Learning [11.20245728716827]
  高品質な表現を得るための効果的なテクニックは、トレーニング中にエンコーダの上にプロジェクションヘッドを追加し、それを破棄し、プリプロジェクション表現を使用することである。 プロジェクション前表現は損失関数によって直接最適化されていない。 トレーニングアルゴリズムの暗黙のバイアスは、階層的にプログレッシブな機能の重み付けにつながり、レイヤーに深く入り込むにつれて、機能がますます不平等になることを示している。
  論文  参考訳（メタデータ） (2024-03-18T00:48:58Z)
• Unraveling Projection Heads in Contrastive Learning: Insights from Expansion and Shrinkage [9.540723320001621]
  本研究の目的は、プロジェクターで学習した表現が、その後に学習した表現よりも優れる観察現象をデミスティフィケートすることである。 我々は、プロジェクターに対する対照的な損失によって引き起こされる2つの重要な効果(膨張と収縮)を同定する。 本稿では,プロジェクタの挙動を正確にモデル化する線形プロジェクタ群を提案する。
  論文  参考訳（メタデータ） (2023-06-06T01:13:18Z)
• Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning [15.009986848506486]
  Guillotine Regularization (GR) は、転送学習シナリオにおける一般化性能の向上に使用される汎用的な手法である。 その成功の背後にある根本的な理由を特定し、トレーニング設定やデータ、ダウンストリームタスクによって最適なレイヤが大幅に変化する可能性があることを示す。
  論文  参考訳（メタデータ） (2022-06-27T15:37:54Z)
• Toward a Geometrical Understanding of Self-supervised Contrastive Learning [55.83778629498769]
  自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。 メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。 本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
  論文  参考訳（メタデータ） (2022-05-13T23:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。