論文の概要: On neural and dimensional collapse in supervised and unsupervised
contrastive learning with hard negative sampling
- arxiv url: http://arxiv.org/abs/2311.05139v1
- Date: Thu, 9 Nov 2023 04:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 16:05:09.072443
- Title: On neural and dimensional collapse in supervised and unsupervised
contrastive learning with hard negative sampling
- Title(参考訳): ハード負サンプリングによる教師付きおよび教師なしコントラスト学習における神経的および次元的崩壊について
- Authors: Ruijie Jiang, Thuan Nguyen, Shuchin Aeron, Prakash Ishwar
- Abstract要約: ニューラル・コラプス(NC)を示す表現は、SCL(Supervised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)のリスクを最小化する。
また,任意の表現マッピングに対して,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることも証明した。
- 参考スコア(独自算出の注目度): 17.94266316310016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a widely-studied data model and general loss and sample-hardening
functions we prove that the Supervised Contrastive Learning (SCL), Hard-SCL
(HSCL), and Unsupervised Contrastive Learning (UCL) risks are minimized by
representations that exhibit Neural Collapse (NC), i.e., the class means form
an Equianglular Tight Frame (ETF) and data from the same class are mapped to
the same representation. We also prove that for any representation mapping, the
HSCL and Hard-UCL (HUCL) risks are lower bounded by the corresponding SCL and
UCL risks. Although the optimality of ETF is known for SCL, albeit only for
InfoNCE loss, its optimality for HSCL and UCL under general loss and hardening
functions is novel. Moreover, our proofs are much simpler, compact, and
transparent. We empirically demonstrate, for the first time, that ADAM
optimization of HSCL and HUCL risks with random initialization and suitable
hardness levels can indeed converge to the NC geometry if we incorporate
unit-ball or unit-sphere feature normalization. Without incorporating hard
negatives or feature normalization, however, the representations learned via
ADAM suffer from dimensional collapse (DC) and fail to attain the NC geometry.
- Abstract(参考訳): 広く研究されているデータモデルと一般損失およびサンプル硬化関数について、教師付きコントラスト学習(scl)、ハードscl(hscl)、および教師なしコントラスト学習(ucl)のリスクは、神経崩壊を示す表現(nc)によって最小化されること、すなわち、クラス平均が等角的タイトフレーム(etf)を形成し、同じクラスからのデータを同一表現にマッピングすることを証明する。
また,任意の表現マッピングにおいて,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることを示す。
ETFの最適性はSCLで知られており、InfoNCEの損失に限られるが、HSCLとUCLの一般的な損失および硬化機能に対する最適性は新しくない。
さらに、私たちの証明はずっとシンプルでコンパクトで透明です。
単球特徴正規化や単球特徴正規化を組み込んだ場合、ランダム初期化と適切な硬度レベルを持つHSCLおよびHUCLリスクのADAM最適化がNC幾何に実際に収束できることを実証的に実証した。
しかし、ハードネガティブや特徴正規化を組み込まなければ、ADAMで学んだ表現は次元的崩壊(DC)に悩まされ、NC幾何を達成できない。
関連論文リスト
- Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Symmetric Neural-Collapse Representations with Supervised Contrastive
Loss: The Impact of ReLU and Batching [26.994954303270575]
スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。
従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。
最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
論文 参考訳(メタデータ) (2023-06-13T17:55:39Z) - What and How does In-Context Learning Learn? Bayesian Model Averaging,
Parameterization, and Generalization [111.55277952086155]
In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。
ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。
事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
論文 参考訳(メタデータ) (2023-05-30T21:23:47Z) - Enhancing Adversarial Contrastive Learning via Adversarial Invariant
Regularization [59.77647907277523]
Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。
本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
論文 参考訳(メタデータ) (2023-04-30T03:12:21Z) - Supervised Contrastive Learning with Hard Negative Samples [25.034249090237026]
本稿では,H-SCL (hard- negative supervised contrastive learning) というコントラスト学習フレームワークを提案する。
数値計算の結果、画像データセットにおける教師付きコントラスト学習(SCL)と教師付きコントラスト学習(UCL)の両方に対するH-SCLの有効性が示された。
論文 参考訳(メタデータ) (2022-08-31T19:20:04Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-24T18:49:26Z) - An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。
さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。
FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
論文 参考訳(メタデータ) (2022-07-14T17:30:13Z) - Interventional Contrastive Learning with Meta Semantic Regularizer [28.708395209321846]
コントラスト学習(CL)に基づく自己教師型学習モデルでは,視覚的表現を相互に学習する。
CLモデルがフルイメージでトレーニングされる場合、フルイメージでテストされるパフォーマンスは、フォアグラウンドのモデルよりも優れている。
CLモデルが前景領域で訓練された場合、全画像でテストされた性能は前景領域よりも悪い。
論文 参考訳(メタデータ) (2022-06-29T15:02:38Z) - Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。
教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
論文 参考訳(メタデータ) (2022-06-03T15:43:08Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳(メタデータ) (2021-11-01T17:59:43Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。