論文の概要: Understanding Collapse in Non-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2209.15007v1
• Date: Thu, 29 Sep 2022 17:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 15:43:45.587558
• Title: Understanding Collapse in Non-Contrastive Learning
• Title（参考訳）: 非連続学習における崩壊の理解
• Authors: Alexander C. Li, Alexei A. Efros, Deepak Pathak
• Abstract要約: モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
• 参考スコア（独自算出の注目度）: 122.2499276246997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive methods have led a recent surge in the performance of self-supervised representation learning (SSL). Recent methods like BYOL or SimSiam purportedly distill these contrastive methods down to their essence, removing bells and whistles, including the negative examples, that do not contribute to downstream performance. These "non-contrastive" methods work surprisingly well without using negatives even though the global minimum lies at trivial collapse. We empirically analyze these non-contrastive methods and find that SimSiam is extraordinarily sensitive to dataset and model size. In particular, SimSiam representations undergo partial dimensional collapse if the model is too small relative to the dataset size. We propose a metric to measure the degree of this collapse and show that it can be used to forecast the downstream task performance without any fine-tuning or labels. We further analyze architectural design choices and their effect on the downstream performance. Finally, we demonstrate that shifting to a continual learning setting acts as a regularizer and prevents collapse, and a hybrid between continual and multi-epoch training can improve linear probe accuracy by as many as 18 percentage points using ResNet-18 on ImageNet.
• Abstract（参考訳）: 対照的に、自己教師付き表現学習(SSL)の性能は近年急上昇している。 byolやsimsiamのような最近の手法は、これらの対照的な方法を本質的に蒸留し、ダウンストリームのパフォーマンスに寄与しない、否定的な例を含むベルやホイッスルを取り除く。 これらの「非矛盾的」な手法は、大域的な最小値が自明な崩壊にあるにもかかわらず、負を使わずに驚くほどうまく機能する。 その結果,SimSiamはデータセットやモデルサイズに非常に敏感であることがわかった。 特に、SimSiam表現は、モデルがデータセットサイズに対して小さすぎる場合、部分次元の崩壊を受ける。 我々は,この崩壊の程度を計測する指標を提案し,微調整やラベルを使わずに下流タスクのパフォーマンスを予測できることを示す。 さらに、アーキテクチャ設計の選択とその下流性能への影響を分析する。 最後に,連続学習環境へのシフトがレギュラライザとして機能し,崩壊を防止することを実証し,連続学習と複数時間トレーニングのハイブリッドにより,imagenet上のresnet-18を用いて,リニアプローブ精度を最大18ポイント向上できることを示した。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning [79.94590011183446]
  自己教師学習の崩壊を避けるために、コントラスト損失は広く使用されるが、多くの負のサンプルを必要とすることが多い。 最近の研究は、崩壊を避けるために最小限の単純なシムセ法(SimSiam)を提供することによって大きな注目を集めている。
  論文  参考訳（メタデータ） (2022-03-30T12:46:31Z)
• Contrasting the landscape of contrastive and non-contrastive learning [25.76544128487728]
  単純なデータモデルであっても,非競合性損失は非衝突性悪い最小値の前提となることを示す。 トレーニングプロセスがこれらのミニマを避けるものではないことを示す。
  論文  参考訳（メタデータ） (2022-03-29T16:08:31Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。