論文の概要: Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2606.21590v1
• Date: Fri, 19 Jun 2026 16:46:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 06:50:26.120434
• Title: Radial Basis Function Networks as Projection Heads in Self-Supervised Learning
• Title（参考訳）: 自己教師付き学習における投影頭部としての放射基底関数ネットワーク
• Authors: Andreas Schliebitz, Heiko Tapken, Martin Atzmueller,
• Abstract要約: 自己教師付き学習(SSL)は通常、バックボーンエンコーダに頼り、続いて小さな多層パーセプトロン(MLP)プロジェクションヘッドが続く。 プロジェクタの破棄を含むこのアプローチは、かなり無駄である、と私たちは主張する。 ラベルなしで表現品質を判断するために、解釈可能な中心と形状パラメータを活用できる放射基底関数ネットワーク(RBFN)を頭部に置き換えることを提案する。
• 参考スコア（独自算出の注目度）: 0.6967006044904097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) typically relies on a backbone encoder followed by a small multilayer perceptron (MLP) projection head, which is conventionally discarded after training, while backbone quality is assessed via costly linear probing on labeled data. We argue that this approach including discarding the projector is rather computationally wasteful. Instead, we propose replacing the MLP head with a radial basis function network (RBFN), whose interpretable center and shape parameters can be exploited to judge representation quality without labels or a separate classifier. To this end, we introduce Scale-Normalized Separation (SNS), a novel label-free quality metric derived solely from the kernel centers and shapes learned during training. Across five canonical SSL architectures (MoCo, SimCLR, BYOL, SwAV and SimSiam) and four image classification datasets, we show that RBFN projection heads are competitive drop-in replacements for standard MLP projectors. We recommend constructing them with three RBF layers activated by the Gaussian radial basis function. Moreover, SNS exhibits strong to very strong positive correlation with established logistic regression metrics, demonstrating that a trained RBFN projector can act as a reliable proxy for backbone representation quality. We additionally publish a novel PyTorch compatible image classification dataset based on Google's Open Images V7 to facilitate reproducible research into representation learning.
• Abstract（参考訳）: 自己教師付き学習(SSL)は通常、バックボーンエンコーダに続き、訓練後に捨てられる小さな多層パーセプトロン(MLP)プロジェクションヘッドが続くが、バックボーンの品質はラベル付きデータによる高価な線形探索によって評価される。 我々は、プロジェクターを捨てることを含むこのアプローチは、かなり計算的に無駄であると主張する。 そこで本研究では,MLPヘッドを放射基底関数ネットワーク (RBFN) に置き換えることを提案する。 この目的のために、トレーニング中に学習したカーネルセンターと形状からのみ派生した新しいラベルなし品質指標であるスケール・ノーマル化分離(SNS)を導入する。 5つの標準SSLアーキテクチャ(MoCo、SimCLR、BYOL、SwaV、SimSiam)と4つの画像分類データセットから、RBFNプロジェクションヘッドが標準MLPプロジェクタの競合的なドロップイン置換であることを示す。 ガウス半径基底関数によって活性化される3つのRBF層でそれらを構築することを推奨する。 さらに、SNSは確立されたロジスティック回帰指標と強い正の相関を示し、訓練されたRBFNプロジェクターがバックボーン表現品質の信頼できるプロキシとして機能できることを実証している。 さらに,GoogleのOpen Images V7に基づく新しいPyTorch互換画像分類データセットを公開し,表現学習における再現可能な研究を容易にする。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classificationtion [14.33259265286265]
  本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。 マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
  論文  参考訳（メタデータ） (2022-03-09T14:42:26Z)
• Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
  トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。 提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
  論文  参考訳（メタデータ） (2022-01-07T16:22:27Z)
• High Fidelity Visualization of What Your Self-Supervised Representation Knows About [22.982471878833362]
  本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
  論文  参考訳（メタデータ） (2021-12-16T19:23:33Z)
• Neural-IMLS: Self-supervised Implicit Moving Least-Squares Network for Surface Reconstruction [42.00765652948473]
  ニューラル・IMLSは、生の点雲からノイズ耐性符号距離関数(SDF)を直接学習する新しい手法である。 IMLSとSDFの相互学習機構の恩恵を受けるニューラルネットワークが収束すると、ゼロレベルセットが基礎となる表面を近似した忠実なSDFが生成されることも証明した。
  論文  参考訳（メタデータ） (2021-09-09T16:37:01Z)
• SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers [91.09957836250209]
  ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T02:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。