論文の概要: Supervised-Contrastive Loss Learns Orthogonal Frames and Batching Matters

• arxiv url: http://arxiv.org/abs/2306.07960v1
• Date: Tue, 13 Jun 2023 17:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 12:13:43.032419
• Title: Supervised-Contrastive Loss Learns Orthogonal Frames and Batching Matters
• Title（参考訳）: 直交フレームとバッチに関する教師付きコントラスト損失
• Authors: Ganesh Ramachandra Kini, Vala Vakilian, Tina Behnia, Jaidev Gill, Christos Thrampoulidis
• Abstract要約: スーパーバイザード・コントラスト・ロス(SCL)は、クロスエントロピー・ロス(CE)よりも競争力があり、しばしば優れている。 これはCEの損失とは対照的であり、以前の研究でクラスサイズに大きく依存する埋め込みジオメトリを学習していることが示されている。
• 参考スコア（独自算出の注目度）: 24.52381498185336
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Supervised contrastive loss (SCL) is a competitive and often superior alternative to the cross-entropy (CE) loss for classification. In this paper we ask: what differences in the learning process occur when the two different loss functions are being optimized? To answer this question, our main finding is that the geometry of embeddings learned by SCL forms an orthogonal frame (OF) regardless of the number of training examples per class. This is in contrast to the CE loss, for which previous work has shown that it learns embeddings geometries that are highly dependent on the class sizes. We arrive at our finding theoretically, by proving that the global minimizers of an unconstrained features model with SCL loss and entry-wise non-negativity constraints form an OF. We then validate the model's prediction by conducting experiments with standard deep-learning models on benchmark vision datasets. Finally, our analysis and experiments reveal that the batching scheme chosen during SCL training plays a critical role in determining the quality of convergence to the OF geometry. This finding motivates a simple algorithm wherein the addition of a few binding examples in each batch significantly speeds up the occurrence of the OF geometry.
• Abstract（参考訳）: スーパーバイザード・コントラスト・ロス(SCL)は、クロスエントロピー(CE)よりも競争力があり、しばしば優れている。 2つの異なる損失関数を最適化する場合、学習プロセスにどのような違いが生じるのか? この質問に答えるために、SCLによって学習された埋め込みの幾何学は、クラスごとのトレーニング例の数に関係なく直交フレーム(OF)を形成する。 これはCEの損失とは対照的であり、以前の研究でクラスサイズに大きく依存する埋め込みジオメトリを学習していることが示されている。 理論的には、SCL損失とエントリーワイド非負性制約を持つ非制約特徴モデルの大域的最小化がOFを形成することを証明する。 次に、ベンチマークビジョンデータセット上で標準ディープラーニングモデルを用いて実験を行い、モデルの予測を検証する。 最後に,SCLトレーニングで選択したバッチ方式が,幾何への収束の質を決定する上で重要な役割を担っていることを,分析と実験により明らかにした。 この発見は、各バッチにいくつかのバインディング例を追加することで、幾何の発生を大幅にスピードアップする、単純なアルゴリズムを動機付けている。

関連論文リスト

• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix [80.2675125037624]
  上述の4種類の手法に適合する新しい統合コントラスト学習表現フレームワーク(UniCLR)を提案する。 SimAffinity、SimWhitening、SimTraceの3つの変種はUniCLRに基づいている。 さらに、この枠組みに基づいて、新しい整合正則化項として単純な対称損失が提案される。
  論文  参考訳（メタデータ） (2022-11-26T08:55:30Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Center Prediction Loss for Re-identification [65.58923413172886]
  我々は, 中心予測率に基づく新たな損失, すなわち, 試料が特徴空間の位置に位置しなければならず, そこから同一クラス標本の中心の位置を大まかに予測できることを示す。 今回の新たな損失により,クラス間サンプルの分離性が向上しつつ,クラス内分散制約がより柔軟になることを示す。
  論文  参考訳（メタデータ） (2021-04-30T03:57:31Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。