論文の概要: BYOL works even without batch statistics

• arxiv url: http://arxiv.org/abs/2010.10241v1
• Date: Tue, 20 Oct 2020 13:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 05:53:58.544993
• Title: BYOL works even without batch statistics
• Title（参考訳）: BYOLはバッチ統計なしでも機能する
• Authors: Pierre H. Richemond, Jean-Bastien Grill, Florent Altch\'e, Corentin Tallec, Florian Strub, Andrew Brock, Samuel Smith, Soham De, Razvan Pascanu, Bilal Piot, Michal Valko
• Abstract要約: Bootstrap Your Own Latent (BYOL)は、画像表現のための自己教師型学習アプローチである。 画像の拡張ビューから、BYOLはオンラインネットワークをトレーニングし、同じ画像の異なる拡張ビューのターゲットネットワーク表現を予測する。 バッチ非依存正規化方式でバッチ正規化を置き換えることにより,バニラBYOLに匹敵する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 55.479961386189586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bootstrap Your Own Latent (BYOL) is a self-supervised learning approach for image representation. From an augmented view of an image, BYOL trains an online network to predict a target network representation of a different augmented view of the same image. Unlike contrastive methods, BYOL does not explicitly use a repulsion term built from negative pairs in its training objective. Yet, it avoids collapse to a trivial, constant representation. Thus, it has recently been hypothesized that batch normalization (BN) is critical to prevent collapse in BYOL. Indeed, BN flows gradients across batch elements, and could leak information about negative views in the batch, which could act as an implicit negative (contrastive) term. However, we experimentally show that replacing BN with a batch-independent normalization scheme (namely, a combination of group normalization and weight standardization) achieves performance comparable to vanilla BYOL ($73.9\%$ vs. $74.3\%$ top-1 accuracy under the linear evaluation protocol on ImageNet with ResNet-$50$). Our finding disproves the hypothesis that the use of batch statistics is a crucial ingredient for BYOL to learn useful representations.
• Abstract（参考訳）: Bootstrap Your Own Latent (BYOL)は、画像表現のための自己教師型学習アプローチである。 画像の拡張ビューから、BYOLはオンラインネットワークをトレーニングし、同じ画像の異なる拡張ビューのターゲットネットワーク表現を予測する。 対照的な方法とは異なり、byolはトレーニング目的において負のペアから構築された反発項を明示的に使用しない。 しかし、それは自明で一定の表現に崩壊することを避ける。 このようにして、BYOLの崩壊を防ぐためにバッチ正規化(BN)が重要であると仮説を立てた。 実際、BNはバッチ要素間の勾配を流し、バッチ内の負のビューに関する情報をリークする可能性がある。 しかし、BNをバッチ非依存の正規化スキーム(つまり、グループ正規化と重み標準化の組み合わせ)に置き換えることで、画像Net上の線形評価プロトコルでバニラBYOL(73.9\%対7.4.3\%=トップ-1精度)に匹敵する性能が得られることを示す。 我々の発見は,BYOLが有用な表現を学習する上で,バッチ統計の利用が重要な要素であるという仮説を否定するものである。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent [6.29475963948119]
  我々はBootstrap Your Own Latent (BYOL)と呼ばれる非競合表現学習フレームワークにおけるバッチ正規化(BN)層の重要性を検討した。 2つ目の目的として、同じ画像の入力バッチ内の意味的に類似したペアを決定するために、2つの新しい損失関数を導入した。 これらの損失関数は、CCSL(Cross-Cosine similarity Loss)とCSSL(Cross-Sigmoid similarity Loss)である。
  論文  参考訳（メタデータ） (2022-04-09T20:30:20Z)
• Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach [48.851973939148394]
  Bootstrap Your Own Latent (BYOL)は、対照的な学習フレームワークにおいて、ネガティブなサンプルの必要性に真剣に挑戦する。 本稿では,本提案する自己教師型学習フレームワークであるRun Away From Your Teacher (RAFT)の視点からBYOLを理解することを提案する。 RAFTは2つの目標を同時に最適化します。 (i) 同じデータの2つのビューを同じ表現に整列させ、 (ii) BYOLがそれに向かって走っているのではなく、モデルの平均教師(MT)から逃げ出します。
  論文  参考訳（メタデータ） (2020-11-22T05:49:50Z)
• EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
  本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。 InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
  論文  参考訳（メタデータ） (2020-10-05T11:39:04Z)
• Group Whitening: Balancing Learning Efficiency and Representational Capacity [98.52552448012598]
  グループホワイトニング(GW)は、ホワイトニング操作の利点を活用し、ミニバッチ内での正規化の欠点を回避する。 我々は、GWが異なるアーキテクチャのパフォーマンスを継続的に改善し、絶対的なゲインが$1.02%$$sim$1.49%$のImageNet上のトップ1精度と$1.82%$$$sim$$21%$のバウンディングボックスAPのCOCO上のバウンディングボックスAPであることを示した。
  論文  参考訳（メタデータ） (2020-09-28T14:00:07Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)
• Bootstrap your own latent: A new approach to self-supervised Learning [42.05440205898349]
  本稿では,自己教師型画像表現学習の新しいアプローチであるBootstrap Your Own Latent (BYOL)を紹介する。 BYOLはオンラインとターゲットネットワークと呼ばれる2つのニューラルネットワークに依存し、互いに対話し、学習する。 BYOLは、転送と半教師付きベンチマークの両方において、現在の最先端技術よりも同等以上のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-06-13T22:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。