論文の概要: On neural and dimensional collapse in supervised and unsupervised contrastive learning with hard negative sampling

• arxiv url: http://arxiv.org/abs/2311.05139v1
• Date: Thu, 9 Nov 2023 04:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:05:09.072443
• Title: On neural and dimensional collapse in supervised and unsupervised contrastive learning with hard negative sampling
• Title（参考訳）: ハード負サンプリングによる教師付きおよび教師なしコントラスト学習における神経的および次元的崩壊について
• Authors: Ruijie Jiang, Thuan Nguyen, Shuchin Aeron, Prakash Ishwar
• Abstract要約: ニューラル・コラプス(NC)を示す表現は、SCL(Supervised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)のリスクを最小化する。 また,任意の表現マッピングに対して,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることも証明した。
• 参考スコア（独自算出の注目度）: 17.94266316310016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a widely-studied data model and general loss and sample-hardening functions we prove that the Supervised Contrastive Learning (SCL), Hard-SCL (HSCL), and Unsupervised Contrastive Learning (UCL) risks are minimized by representations that exhibit Neural Collapse (NC), i.e., the class means form an Equianglular Tight Frame (ETF) and data from the same class are mapped to the same representation. We also prove that for any representation mapping, the HSCL and Hard-UCL (HUCL) risks are lower bounded by the corresponding SCL and UCL risks. Although the optimality of ETF is known for SCL, albeit only for InfoNCE loss, its optimality for HSCL and UCL under general loss and hardening functions is novel. Moreover, our proofs are much simpler, compact, and transparent. We empirically demonstrate, for the first time, that ADAM optimization of HSCL and HUCL risks with random initialization and suitable hardness levels can indeed converge to the NC geometry if we incorporate unit-ball or unit-sphere feature normalization. Without incorporating hard negatives or feature normalization, however, the representations learned via ADAM suffer from dimensional collapse (DC) and fail to attain the NC geometry.
• Abstract（参考訳）: 広く研究されているデータモデルと一般損失およびサンプル硬化関数について、教師付きコントラスト学習(scl)、ハードscl(hscl)、および教師なしコントラスト学習(ucl)のリスクは、神経崩壊を示す表現(nc)によって最小化されること、すなわち、クラス平均が等角的タイトフレーム(etf)を形成し、同じクラスからのデータを同一表現にマッピングすることを証明する。 また,任意の表現マッピングにおいて,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることを示す。 ETFの最適性はSCLで知られており、InfoNCEの損失に限られるが、HSCLとUCLの一般的な損失および硬化機能に対する最適性は新しくない。 さらに、私たちの証明はずっとシンプルでコンパクトで透明です。 単球特徴正規化や単球特徴正規化を組み込んだ場合、ランダム初期化と適切な硬度レベルを持つHSCLおよびHUCLリスクのADAM最適化がNC幾何に実際に収束できることを実証的に実証した。 しかし、ハードネガティブや特徴正規化を組み込まなければ、ADAMで学んだ表現は次元的崩壊(DC)に悩まされ、NC幾何を達成できない。

関連論文リスト

• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Supervised Contrastive Learning with Hard Negative Samples [16.42457033976047]
  対照的学習(CL)では、正のサンプルを互いに近づき、有用な表現関数を学習する。 クラス情報がない場合、負のサンプルはアンカーとは無関係にランダムに選択される。 Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を避ける。
  論文  参考訳（メタデータ） (2022-08-31T19:20:04Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Debiased Graph Contrastive Learning [27.560217866753938]
  本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
  論文  参考訳（メタデータ） (2021-10-05T13:15:59Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Sample-efficient L0-L2 constrained structure learning of sparse Ising models [3.056751497358646]
  スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。 濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
  論文  参考訳（メタデータ） (2020-12-03T07:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。