論文の概要: Whitening for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2007.06346v5
• Date: Fri, 14 May 2021 15:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:40:03.241452
• Title: Whitening for Self-Supervised Representation Learning
• Title（参考訳）: 自己監督型表現学習のための白化
• Authors: Aleksandr Ermolov, Aliaksandr Siarohin, Enver Sangineto, Nicu Sebe
• Abstract要約: 本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
• 参考スコア（独自算出の注目度）: 129.57407186848917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of the current self-supervised representation learning (SSL) methods are based on the contrastive loss and the instance-discrimination task, where augmented versions of the same image instance ("positives") are contrasted with instances extracted from other images ("negatives"). For the learning to be effective, many negatives should be compared with a positive pair, which is computationally demanding. In this paper, we propose a different direction and a new loss function for SSL, which is based on the whitening of the latent-space features. The whitening operation has a "scattering" effect on the batch samples, avoiding degenerate solutions where all the sample representations collapse to a single point. Our solution does not require asymmetric networks and it is conceptually simple. Moreover, since negatives are not needed, we can extract multiple positive pairs from the same image instance. The source code of the method and of all the experiments is available at: https://github.com/htdt/self-supervised.
• Abstract（参考訳）: 現在の自己監督型表現学習(SSL)の手法のほとんどは、コントラスト損失とインスタンス識別タスクに基づいており、同じイメージインスタンス("陽性")の拡張バージョンは、他のイメージ("負")から抽出されたインスタンスと対比される。 学習が効果的になるためには、多くの負は計算上要求される正の対と比較されるべきである。 本稿では,遅延空間の特徴の白化に基づくSSLの異なる方向と新しいロス関数を提案する。 ホワイトニング操作はバッチサンプルに「散乱」効果を持ち、全てのサンプル表現が1つの点に崩壊する縮退した解を避ける。 我々の解は非対称ネットワークを必要とせず、概念的には単純である。 さらに、負は不要であるため、同じ画像インスタンスから複数の正のペアを抽出することができる。 メソッドとすべての実験のソースコードは、https://github.com/htdt/self-supervised。

関連論文リスト

• Whitening-based Contrastive Learning of Sentence Embeddings [61.38955786965527]
  文埋め込み学習(WhitenedCSE)のためのホワイトニングに基づくコントラスト学習手法を提案する。 これら2つのアプローチは完全に冗長ではなく、実際には異なる一様性機構のために相補性を持っていることが分かる。
  論文  参考訳（メタデータ） (2023-05-28T14:58:10Z)
• Soft Neighbors are Positive Supporters in Contrastive Visual Representation Learning [35.53729744330751]
  コントラスト学習法は、あるインスタンスと他のインスタンスのビューを比較して視覚エンコーダを訓練する。 このバイナリインスタンス識別は、自己教師付き学習における特徴表現を改善するために広範囲に研究されている。 本稿では、インスタンス識別フレームワークを再考し、異なるサンプル間の相関を測定するのに不十分なバイナリインスタンスラベルを見つける。
  論文  参考訳（メタデータ） (2023-03-30T04:22:07Z)
• An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
  自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
  論文  参考訳（メタデータ） (2022-10-07T14:43:29Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。