論文の概要: Modulate Your Spectrum in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2305.16789v1
• Date: Fri, 26 May 2023 09:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 15:52:10.342242
• Title: Modulate Your Spectrum in Self-Supervised Learning
• Title（参考訳）: 自己監督型学習におけるスペクトルの変調
• Authors: Xi Weng, Yunhao Ni, Tengwei Song, Jie Luo, Rao Muhammad Anwer, Salman Khan, Fahad Shahbaz Khan, Lei Huang
• Abstract要約: ホワイトニング損失は、自己教師付き学習(SSL)における特徴崩壊を回避する理論的保証を提供する フォワードパス中に、埋め込みのスペクトルを所望の分布にマッピングするスペクトル変換(ST)フレームワークを提案する。 我々は、トレース損失(INTL)を伴うIterNormと呼ばれるSTの新しいインスタンスを提案する。
• 参考スコア（独自算出の注目度）: 53.6712447372257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whitening loss provides theoretical guarantee in avoiding feature collapse for self-supervised learning (SSL) using joint embedding architectures. One typical implementation of whitening loss is hard whitening that designs whitening transformation over embedding and imposes the loss on the whitened output. In this paper, we propose spectral transformation (ST) framework to map the spectrum of embedding to a desired distribution during forward pass, and to modulate the spectrum of embedding by implicit gradient update during backward pass. We show that whitening transformation is a special instance of ST by definition, and there exist other instances that can avoid collapse by our empirical investigation. Furthermore, we propose a new instance of ST, called IterNorm with trace loss (INTL). We theoretically prove that INTL can avoid collapse and modulate the spectrum of embedding towards an equal-eigenvalue distribution during the course of optimization. Moreover, INTL achieves 76.6% top-1 accuracy in linear evaluation on ImageNet using ResNet-50, which exceeds the performance of the supervised baseline, and this result is obtained by using a batch size of only 256. Comprehensive experiments show that INTL is a promising SSL method in practice. The code is available at https://github.com/winci-ai/intl.
• Abstract（参考訳）: ホワイトニング損失は、統合埋め込みアーキテクチャを使用した自己教師付き学習(SSL)の機能崩壊を避けるための理論的保証を提供する。 ホワイトニング損失の典型的な実装はハードホワイトニングであり、埋め込みよりもホワイトニング変換を設計し、ホワイトニング出力にロスを課す。 本稿では,前方通過時の埋め込みスペクトルを所望の分布にマッピングし,後方通過時の暗黙的勾配更新により埋め込みスペクトルを変調するスペクトル変換(ST)フレームワークを提案する。 ホワイトニング変換は定義によるSTの特別な例であり、経験的調査によって崩壊を避けることができる他の例が存在することを示す。 さらに、トレース損失(INTL)を伴うIterNormと呼ばれるSTの新しいインスタンスを提案する。 理論的には、intlは崩壊を避け、最適化の過程で等固有値分布に向かって埋め込みのスペクトルを変調できることを証明できる。 さらに、InTLは、教師付きベースラインの性能を超えるResNet-50を用いて、イメージネット上での線形評価において76.6%のトップ1精度を実現し、バッチサイズを256に抑えてこの結果を得る。 総合的な実験により、INTLは実際に有望なSSLメソッドであることが示された。 コードはhttps://github.com/winci-ai/intlで入手できる。

関連論文リスト

• Whitening Consistently Improves Self-Supervised Learning [5.0337106694127725]
  自己教師型学習におけるエンコーダの最終層としてZCA白化を導入することを提案する。 実験の結果,白化は線形およびk-NN探索精度を1-5%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T12:52:13Z)
• Breaking Secure Aggregation: Label Leakage from Aggregated Gradients in Federated Learning [11.18348760596715]
  Federated Learningは、勾配反転攻撃(GIA)下でのプライバシーの脆弱性を示す セキュリティアグリゲーション(SA)を回避し、個々のクライアントのプライベートラベルを復元するために、ステルスなラベル推論攻撃を提案する。 我々の攻撃は、様々なデータセットやモデルアーキテクチャ上で、100%精度で大規模なラベル回復を実現する。
  論文  参考訳（メタデータ） (2024-06-22T04:42:18Z)
• Balancing Embedding Spectrum for Recommendation [7.523823738965443]
  表現は埋め込み空間全体の部分空間にまたがる傾向を示し、最適解が得られ、モデルの容量が減少することを示した。 トレーニング中の埋め込みのスペクトル分布のバランスをとるために,DirectSpecと呼ばれる新しい手法を提案する。 また,無関係なサンプルをより効率的に最適化するために,自己ペース勾配を用いた拡張型DirectSpec+を提案する。
  論文  参考訳（メタデータ） (2024-06-17T18:59:43Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
  自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
  論文  参考訳（メタデータ） (2022-10-07T14:43:29Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。