論文の概要: Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent

• arxiv url: http://arxiv.org/abs/2204.04545v1
• Date: Sat, 9 Apr 2022 20:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 00:48:46.009489
• Title: Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent
• Title（参考訳）: bootstrap your own latentを用いたロバスト表現学習のための自己ラベルの改良
• Authors: Siddhant Garg and Dhruval Jain
• Abstract要約: 我々はBootstrap Your Own Latent (BYOL)と呼ばれる非競合表現学習フレームワークにおけるバッチ正規化(BN)層の重要性を検討した。 2つ目の目的として、同じ画像の入力バッチ内の意味的に類似したペアを決定するために、2つの新しい損失関数を導入した。 これらの損失関数は、CCSL(Cross-Cosine similarity Loss)とCSSL(Cross-Sigmoid similarity Loss)である。
• 参考スコア（独自算出の注目度）: 6.29475963948119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we have worked towards two major goals. Firstly, we have investigated the importance of Batch Normalisation (BN) layers in a non-contrastive representation learning framework called Bootstrap Your Own Latent (BYOL). We conducted several experiments to conclude that BN layers are not necessary for representation learning in BYOL. Moreover, BYOL only learns from the positive pairs of images but ignores other semantically similar images in the same input batch. For the second goal, we have introduced two new loss functions to determine the semantically similar pairs in the same input batch of images and reduce the distance between their representations. These loss functions are Cross-Cosine Similarity Loss (CCSL) and Cross-Sigmoid Similarity Loss (CSSL). Using the proposed loss functions, we are able to surpass the performance of Vanilla BYOL (71.04%) by training the BYOL framework using CCSL loss (76.87%) on the STL10 dataset. BYOL trained using CSSL loss performs comparably with Vanilla BYOL.
• Abstract（参考訳）: この作業では、2つの大きな目標に向けて取り組みました。 まず,Bootstrap Your Own Latent (BYOL)と呼ばれる非競合表現学習フレームワークにおけるバッチ正規化(BN)層の重要性を検討した。 BYOLにおける表現学習にはBN層は必要ないと結論付けるために,いくつかの実験を行った。 さらに、BYOLは肯定的なイメージペアからのみ学習するが、同じ入力バッチ内の他の意味論的に類似したイメージは無視する。 2つ目の目的として,画像の同一入力バッチにおける意味的に類似するペアを判定し,それらの表現間の距離を小さくするために,新たな損失関数を2つ導入した。 これらの損失関数は、CCSL(Cross-Cosine similarity Loss)とCSSL(Cross-Sigmoid similarity Loss)である。 提案した損失関数を用いて、STL10データセット上でCCSL損失(76.87%)を使用してBYOLフレームワークをトレーニングすることにより、Vanilla BYOL(71.04%)のパフォーマンスを上回ることができる。 CSSL損失を使用してトレーニングされたBYOLは、Vanilla BYOLと互換性がある。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification [0.9236074230806579]
  本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。 以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
  論文  参考訳（メタデータ） (2023-05-15T23:12:09Z)
• Layer Grafted Pre-training: Bridging Contrastive Learning And Masked Image Modeling For Label-Efficient Representations [130.05189514598996]
  Mask Image Modeling (MIM) と Contrastive Learning (CL) は、自己超越が優れた表現を学ぶのに強力であることを示した。 本稿では,CLとMIMの損失の簡易な共同最適化が,矛盾する勾配方向を導いた経験的観察を行う。 実験により,MIMとCLは下層と上層にそれぞれ適していることがわかった。 初期のレイヤはまず1つのMIM損失の下でトレーニングされ、その上に、後者のレイヤは別のCL損失の下でトレーニングされ続けます。
  論文  参考訳（メタデータ） (2023-02-27T20:52:10Z)
• Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning [27.91000553525992]
  自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 類似度損失と特徴レベルのクロスエントロピー損失の関係を解析する。 これらの2つの損失の適切な組み合わせが、最先端の結果が得られることを示すための理論的分析と実験を提供する。
  論文  参考訳（メタデータ） (2023-01-08T13:30:39Z)
• Contrastive Feature Loss for Image Prediction [55.373404869092866]
  教師付き画像合成モデルのトレーニングでは、批評家は2つの画像を比較する必要がある。 本稿では,2つの画像間の類似度を測定するための情報理論に基づくアプローチを提案する。 この定式化により,L1損失の代替として,出力画像の知覚的リアリズムが向上することを示す。
  論文  参考訳（メタデータ） (2021-11-12T20:39:52Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• BYOL works even without batch statistics [55.479961386189586]
  Bootstrap Your Own Latent (BYOL)は、画像表現のための自己教師型学習アプローチである。 画像の拡張ビューから、BYOLはオンラインネットワークをトレーニングし、同じ画像の異なる拡張ビューのターゲットネットワーク表現を予測する。 バッチ非依存正規化方式でバッチ正規化を置き換えることにより,バニラBYOLに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-20T13:05:05Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。