論文の概要: Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse

• arxiv url: http://arxiv.org/abs/2311.05139v2
• Date: Tue, 29 Oct 2024 15:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 20:19:47.994870
• Title: Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse
• Title（参考訳）: コントラスト学習のためのハード負サンプリング:最適表現幾何学とニューラル対次元崩壊
• Authors: Ruijie Jiang, Thuan Nguyen, Shuchin Aeron, Prakash Ishwar,
• Abstract要約: ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
• 参考スコア（独自算出の注目度）: 16.42457033976047
• License:
• Abstract: For a widely-studied data model and general loss and sample-hardening functions we prove that the losses of Supervised Contrastive Learning (SCL), Hard-SCL (HSCL), and Unsupervised Contrastive Learning (UCL) are minimized by representations that exhibit Neural-Collapse (NC), i.e., the class means form an Equiangular Tight Frame (ETF) and data from the same class are mapped to the same representation. We also prove that for any representation mapping, the HSCL and Hard-UCL (HUCL) losses are lower bounded by the corresponding SCL and UCL losses. In contrast to existing literature, our theoretical results for SCL do not require class-conditional independence of augmented views and work for a general loss function class that includes the widely used InfoNCE loss function. Moreover, our proofs are simpler, compact, and transparent. Similar to existing literature, our theoretical claims also hold for the practical scenario where batching is used for optimization. We empirically demonstrate, for the first time, that Adam optimization (with batching) of HSCL and HUCL losses with random initialization and suitable hardness levels can indeed converge to the NC-geometry if we incorporate unit-ball or unit-sphere feature normalization. Without incorporating hard-negatives or feature normalization, however, the representations learned via Adam suffer from Dimensional-Collapse (DC) and fail to attain the NC-geometry. These results exemplify the role of hard-negative sampling in contrastive representation learning and we conclude with several open theoretical problems for future work. The code can be found at \url{https://github.com/rjiang03/HCL/tree/main}
• Abstract（参考訳）: 広範に研究されているデータモデルと一般的な損失とサンプル硬化関数について、ニューラルネットワーク(NC)を示す表現により、教師付きコントラスト学習(SCL)、ハードSCL(HSCL)、教師なしコントラスト学習(UCL)の損失が最小化されること、すなわち、クラスは等角的タイトフレーム(ETF)を形成し、同じクラスからのデータは同じ表現にマッピングされることを示す。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。 既存の文献とは対照的に、SCLの理論的結果は、拡張ビューのクラス条件独立を必要とせず、広く使われているInfoNCE損失関数を含む一般的な損失関数クラスに対して機能する。 さらに、我々の証明は単純でコンパクトで透明である。 既存の文献と同様に、我々の理論的な主張は、バッチ処理が最適化に使用される現実的なシナリオにも当てはまる。 ユニットボールや単位球特徴正規化を組み込んだ場合、ランダム初期化と適切な硬度レベルによるHSCLとHUCL損失のアダム最適化(バッチ化)がNC-幾何学に実際に収束できることを実証的に実証した。 しかし、強陰性や特徴正規化を組み込まずに、アダムを通して学んだ表現は次元崩壊(DC)に悩まされ、NC幾何学に到達できなかった。 これらの結果は、コントラスト表現学習におけるハードネガティブサンプリングの役割を実証し、今後の研究にいくつかのオープンな理論問題で結論付ける。 コードは \url{https://github.com/rjiang03/HCL/tree/main} で見ることができる。

関連論文リスト

• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Supervised Contrastive Learning with Hard Negative Samples [16.42457033976047]
  対照的学習(CL)では、正のサンプルを互いに近づき、有用な表現関数を学習する。 クラス情報がない場合、負のサンプルはアンカーとは無関係にランダムに選択される。 Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を避ける。
  論文  参考訳（メタデータ） (2022-08-31T19:20:04Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Debiased Graph Contrastive Learning [27.560217866753938]
  本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
  論文  参考訳（メタデータ） (2021-10-05T13:15:59Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Sample-efficient L0-L2 constrained structure learning of sparse Ising models [3.056751497358646]
  スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。 濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
  論文  参考訳（メタデータ） (2020-12-03T07:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。