論文の概要: An Investigation into Whitening Loss for Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2210.03586v1
• Date: Fri, 7 Oct 2022 14:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:25:48.014349
• Title: An Investigation into Whitening Loss for Self-supervised Learning
• Title（参考訳）: 自己教師付き学習におけるホワイトニング損失の検討
• Authors: Xi Weng, Lei Huang, Lei Zhao, Rao Muhammad Anwer, Salman Khan, Fahad Shahbaz Khan
• Abstract要約: 自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
• 参考スコア（独自算出の注目度）: 62.157102463386394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A desirable objective in self-supervised learning (SSL) is to avoid feature collapse. Whitening loss guarantees collapse avoidance by minimizing the distance between embeddings of positive pairs under the conditioning that the embeddings from different views are whitened. In this paper, we propose a framework with an informative indicator to analyze whitening loss, which provides a clue to demystify several interesting phenomena as well as a pivoting point connecting to other SSL methods. We reveal that batch whitening (BW) based methods do not impose whitening constraints on the embedding, but they only require the embedding to be full-rank. This full-rank constraint is also sufficient to avoid dimensional collapse. Based on our analysis, we propose channel whitening with random group partition (CW-RGP), which exploits the advantages of BW-based methods in preventing collapse and avoids their disadvantages requiring large batch size. Experimental results on ImageNet classification and COCO object detection reveal that the proposed CW-RGP possesses a promising potential for learning good representations. The code is available at https://github.com/winci-ai/CW-RGP.
• Abstract（参考訳）: 自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失は、異なるビューからの埋め込みがホワイト化されることを条件に、ポジティブペアの埋め込み間の距離を最小化することにより、崩壊回避を保証する。 本稿では,ホワイトニング損失を解析するための情報指標を用いたフレームワークを提案する。このフレームワークは,いくつかの興味深い現象や,他のSSLメソッドに接続するピボットポイントを解明するための手がかりを提供する。 バッチ・ホワイトニング(BW)ベースの手法は,埋め込みにホワイトニングの制約を課さないが,埋め込みをフルランクで行う必要がある。 このフルランク制約は次元崩壊を避けるのに十分である。 本稿では,BW-RGPを用いたチャネル白化手法を提案する。この手法は,崩壊防止のためのBW方式の利点を生かし,バッチサイズが大きすぎるという欠点を回避する。 ImageNet分類とCOCOオブジェクト検出の実験結果から,提案したCW-RGPは優れた表現を学習するための有望な可能性を持っていることが明らかになった。 コードはhttps://github.com/winci-ai/CW-RGPで公開されている。

関連論文リスト

• Whitening Not Recommended for Classification Tasks in LLMs [0.08192907805418582]
  ホワイトニングは、Large Language Models (LLMs) から得られる埋め込み品質を改善する効果的な操作であると主張されている。 特に、ホワイトニングは分類タスクの埋め込みを退化させる。 我々の研究の副産物は、SentEval+と呼ばれるLCMの組込み評価プラットフォームである。
  論文  参考訳（メタデータ） (2024-07-16T22:48:30Z)
• Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation [6.790779112538357]
  提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
  論文  参考訳（メタデータ） (2024-02-03T08:19:26Z)
• Whitening-based Contrastive Learning of Sentence Embeddings [61.38955786965527]
  文埋め込み学習(WhitenedCSE)のためのホワイトニングに基づくコントラスト学習手法を提案する。 これら2つのアプローチは完全に冗長ではなく、実際には異なる一様性機構のために相補性を持っていることが分かる。
  論文  参考訳（メタデータ） (2023-05-28T14:58:10Z)
• Modulate Your Spectrum in Self-Supervised Learning [65.963806450552]
  ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。 埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。 我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:59:48Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• Improving Generalization of Batch Whitening by Convolutional Unit Optimization [24.102442375834084]
  バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換することで、トレーニングを加速し、安定化する技術である。 バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。 本稿では,この理論に則った新しい畳み込み単位を提案する。
  論文  参考訳（メタデータ） (2021-08-24T10:27:57Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。