論文の概要: Modulate Your Spectrum in Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2305.16789v1
- Date: Fri, 26 May 2023 09:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:52:10.342242
- Title: Modulate Your Spectrum in Self-Supervised Learning
- Title(参考訳): 自己監督型学習におけるスペクトルの変調
- Authors: Xi Weng, Yunhao Ni, Tengwei Song, Jie Luo, Rao Muhammad Anwer, Salman
Khan, Fahad Shahbaz Khan, Lei Huang
- Abstract要約: ホワイトニング損失は、自己教師付き学習(SSL)における特徴崩壊を回避する理論的保証を提供する
フォワードパス中に、埋め込みのスペクトルを所望の分布にマッピングするスペクトル変換(ST)フレームワークを提案する。
我々は、トレース損失(INTL)を伴うIterNormと呼ばれるSTの新しいインスタンスを提案する。
- 参考スコア(独自算出の注目度): 53.6712447372257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whitening loss provides theoretical guarantee in avoiding feature collapse
for self-supervised learning (SSL) using joint embedding architectures. One
typical implementation of whitening loss is hard whitening that designs
whitening transformation over embedding and imposes the loss on the whitened
output. In this paper, we propose spectral transformation (ST) framework to map
the spectrum of embedding to a desired distribution during forward pass, and to
modulate the spectrum of embedding by implicit gradient update during backward
pass. We show that whitening transformation is a special instance of ST by
definition, and there exist other instances that can avoid collapse by our
empirical investigation. Furthermore, we propose a new instance of ST, called
IterNorm with trace loss (INTL). We theoretically prove that INTL can avoid
collapse and modulate the spectrum of embedding towards an equal-eigenvalue
distribution during the course of optimization. Moreover, INTL achieves 76.6%
top-1 accuracy in linear evaluation on ImageNet using ResNet-50, which exceeds
the performance of the supervised baseline, and this result is obtained by
using a batch size of only 256. Comprehensive experiments show that INTL is a
promising SSL method in practice. The code is available at
https://github.com/winci-ai/intl.
- Abstract(参考訳): ホワイトニング損失は、統合埋め込みアーキテクチャを使用した自己教師付き学習(SSL)の機能崩壊を避けるための理論的保証を提供する。
ホワイトニング損失の典型的な実装はハードホワイトニングであり、埋め込みよりもホワイトニング変換を設計し、ホワイトニング出力にロスを課す。
本稿では,前方通過時の埋め込みスペクトルを所望の分布にマッピングし,後方通過時の暗黙的勾配更新により埋め込みスペクトルを変調するスペクトル変換(ST)フレームワークを提案する。
ホワイトニング変換は定義によるSTの特別な例であり、経験的調査によって崩壊を避けることができる他の例が存在することを示す。
さらに、トレース損失(INTL)を伴うIterNormと呼ばれるSTの新しいインスタンスを提案する。
理論的には、intlは崩壊を避け、最適化の過程で等固有値分布に向かって埋め込みのスペクトルを変調できることを証明できる。
さらに、InTLは、教師付きベースラインの性能を超えるResNet-50を用いて、イメージネット上での線形評価において76.6%のトップ1精度を実現し、バッチサイズを256に抑えてこの結果を得る。
総合的な実験により、INTLは実際に有望なSSLメソッドであることが示された。
コードはhttps://github.com/winci-ai/intlで入手できる。
関連論文リスト
- Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。
本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
論文 参考訳(メタデータ) (2023-01-23T15:52:12Z) - An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。
ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。
分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
論文 参考訳(メタデータ) (2022-10-07T14:43:29Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - Improving Generalization of Batch Whitening by Convolutional Unit
Optimization [24.102442375834084]
バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換することで、トレーニングを加速し、安定化する技術である。
バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。
本稿では,この理論に則った新しい畳み込み単位を提案する。
論文 参考訳(メタデータ) (2021-08-24T10:27:57Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Whitening for Self-Supervised Representation Learning [129.57407186848917]
本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。
我々の解は非対称なネットワークを必要とせず、概念的には単純である。
論文 参考訳(メタデータ) (2020-07-13T12:33:25Z) - Improving STDP-based Visual Feature Learning with Whitening [1.9981375888949475]
本稿では,STDPで特徴を学習する前に,白化を前処理ステップとして用いることを提案する。
CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されている。
また,ニューロモルフィックハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
論文 参考訳(メタデータ) (2020-02-24T11:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。