論文の概要: How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2203.16262v1
• Date: Wed, 30 Mar 2022 12:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 22:08:04.394367
• Title: How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning
• Title（参考訳）: SimSiamはなぜ負のサンプルなしで崩壊を避けるのか? 自己教師付きコントラスト学習による統一的理解
• Authors: Chaoning Zhang, Kang Zhang, Chenshuang Zhang, Trung X. Pham, Chang D. Yoo, In So Kweon
• Abstract要約: 自己教師学習の崩壊を避けるために、コントラスト損失は広く使用されるが、多くの負のサンプルを必要とすることが多い。 最近の研究は、崩壊を避けるために最小限の単純なシムセ法(SimSiam)を提供することによって大きな注目を集めている。
• 参考スコア（独自算出の注目度）: 79.94590011183446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To avoid collapse in self-supervised learning (SSL), a contrastive loss is widely used but often requires a large number of negative samples. Without negative samples yet achieving competitive performance, a recent work has attracted significant attention for providing a minimalist simple Siamese (SimSiam) method to avoid collapse. However, the reason for how it avoids collapse without negative samples remains not fully clear and our investigation starts by revisiting the explanatory claims in the original SimSiam. After refuting their claims, we introduce vector decomposition for analyzing the collapse based on the gradient analysis of the $l_2$-normalized representation vector. This yields a unified perspective on how negative samples and SimSiam alleviate collapse. Such a unified perspective comes timely for understanding the recent progress in SSL.
• Abstract（参考訳）: 自己教師付き学習(SSL)の崩壊を避けるために、対照的な損失は広く使われているが、多くの負のサンプルを必要とすることが多い。 負のサンプルがいまだに競争性能を達成していないため、最近の研究は崩壊を避けるために最小限の単純なシムセ法(SimSiam)を提供することで大きな注目を集めている。 しかし, 負のサンプルを使わずに崩壊する原因は明らかになっていないため, 本研究はSimSiamの解説的主張を再考することから始まる。 それらの主張を反論した後,$l_2$正規化表現ベクトルの勾配解析に基づく崩壊解析のためにベクトル分解を導入する。 これにより、負のサンプルとSimSiamの崩壊を緩和する方法が統一される。 このような統一された視点は、SSLの最近の進歩を理解するためにタイムリーにやってくる。

関連論文リスト

• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• What shapes the loss landscape of self-supervised learning? [10.896567381206715]
  表現の完全的・次元的崩壊防止は、近年、自己教師型学習(SSL)の設計原則となっている。 線形モデルに対するSSLロスランドスケープを徹底的に解析することで、回答を提供する。 SSLランドスケープを解析的に抽出可能な理論を導出し,崩壊現象の配列を正確に把握し,その原因を明らかにする。
  論文  参考訳（メタデータ） (2022-10-02T21:46:16Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Contrasting the landscape of contrastive and non-contrastive learning [25.76544128487728]
  単純なデータモデルであっても,非競合性損失は非衝突性悪い最小値の前提となることを示す。 トレーニングプロセスがこれらのミニマを避けるものではないことを示す。
  論文  参考訳（メタデータ） (2022-03-29T16:08:31Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。