論文の概要: Modulate Your Spectrum in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2305.16789v2
• Date: Mon, 22 Jan 2024 02:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 21:52:25.461041
• Title: Modulate Your Spectrum in Self-Supervised Learning
• Title（参考訳）: 自己監督型学習におけるスペクトルの変調
• Authors: Xi Weng, Yunhao Ni, Tengwei Song, Jie Luo, Rao Muhammad Anwer, Salman Khan, Fahad Shahbaz Khan, Lei Huang
• Abstract要約: ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。 埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。 我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
• 参考スコア（独自算出の注目度）: 65.963806450552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whitening loss offers a theoretical guarantee against feature collapse in self-supervised learning (SSL) with joint embedding architectures. Typically, it involves a hard whitening approach, transforming the embedding and applying loss to the whitened output. In this work, we introduce Spectral Transformation (ST), a framework to modulate the spectrum of embedding and to seek for functions beyond whitening that can avoid dimensional collapse. We show that whitening is a special instance of ST by definition, and our empirical investigations unveil other ST instances capable of preventing collapse. Additionally, we propose a novel ST instance named IterNorm with trace loss (INTL). Theoretical analysis confirms INTL's efficacy in preventing collapse and modulating the spectrum of embedding toward equal-eigenvalues during optimization. Our experiments on ImageNet classification and COCO object detection demonstrate INTL's potential in learning superior representations. The code is available at https://github.com/winci-ai/INTL.
• Abstract（参考訳）: ホワイトニング損失は、自己教師付き学習(SSL)における機能崩壊に対する理論的保証を提供する。 通常、それはハード・ホワイトニングのアプローチを伴い、埋め込みを変換し、白紙の出力に損失を適用します。 本研究では,埋め込みスペクトルを変調するフレームワークであるspectrum transformation (st)を導入し,次元の崩壊を回避できるホワイトニング以外の関数を求める。 ホワイトニングは定義によってSTの特別な例であり、我々の経験的調査は崩壊を防止できる他のSTインスタンスを明らかにする。 さらに,トレース損失(INTL)を考慮した新しいSTインスタンスIterNormを提案する。 理論的解析により、INTLの崩壊防止効果と、最適化中の等固有値に対する埋め込みスペクトルの調節効果が確認された。 画像ネット分類とCOCOオブジェクト検出の実験は,INTLが優れた表現を学習する可能性を示している。 コードはhttps://github.com/winci-ai/intlで入手できる。

関連論文リスト

• Breaking Secure Aggregation: Label Leakage from Aggregated Gradients in Federated Learning [11.18348760596715]
  Federated Learningは、勾配反転攻撃(GIA)下でのプライバシーの脆弱性を示す セキュリティアグリゲーション(SA)を回避し、個々のクライアントのプライベートラベルを復元するために、ステルスなラベル推論攻撃を提案する。 我々の攻撃は、様々なデータセットやモデルアーキテクチャ上で、100%精度で大規模なラベル回復を実現する。
  論文  参考訳（メタデータ） (2024-06-22T04:42:18Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
  自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
  論文  参考訳（メタデータ） (2022-10-07T14:43:29Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)
• Improving STDP-based Visual Feature Learning with Whitening [1.9981375888949475]
  本稿では,STDPで特徴を学習する前に,白化を前処理ステップとして用いることを提案する。 CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されている。 また,ニューロモルフィックハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
  論文  参考訳（メタデータ） (2020-02-24T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。