論文の概要: Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching

• arxiv url: http://arxiv.org/abs/2306.07960v2
• Date: Wed, 18 Oct 2023 19:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 19:49:06.915458
• Title: Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching
• Title（参考訳）: コントラスト損失が抑制された対称的神経崩壊表現:ReLUとバッチの影響
• Authors: Ganesh Ramachandra Kini, Vala Vakilian, Tina Behnia, Jaidev Gill, Christos Thrampoulidis
• Abstract要約: スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
• 参考スコア（独自算出の注目度）: 26.994954303270575
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Supervised contrastive loss (SCL) is a competitive and often superior alternative to the cross-entropy loss for classification. While prior studies have demonstrated that both losses yield symmetric training representations under balanced data, this symmetry breaks under class imbalances. This paper presents an intriguing discovery: the introduction of a ReLU activation at the final layer effectively restores the symmetry in SCL-learned representations. We arrive at this finding analytically, by establishing that the global minimizers of an unconstrained features model with SCL loss and entry-wise non-negativity constraints form an orthogonal frame. Extensive experiments conducted across various datasets, architectures, and imbalance scenarios corroborate our finding. Importantly, our experiments reveal that the inclusion of the ReLU activation restores symmetry without compromising test accuracy. This constitutes the first geometry characterization of SCL under imbalances. Additionally, our analysis and experiments underscore the pivotal role of batch selection strategies in representation geometry. By proving necessary and sufficient conditions for mini-batch choices that ensure invariant symmetric representations, we introduce batch-binding as an efficient strategy that guarantees these conditions hold.
• Abstract（参考訳）: 教師付きコントラスト損失 (supervised contrastive loss, scl) は、分類におけるクロスエントロピー損失(cross-entropy loss)に代わる、競争的でしばしば優れた代替手段である。 以前の研究では、両方の損失がバランスデータの下で対称なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破られる。 本稿では,最終層にreluアクティベーションを導入することで,scl学習表現の対称性を効果的に回復する,興味深い発見を提案する。 我々は、SCL損失とエントリーワイド非負性制約を持つ非制約特徴モデルの大域的最小化が直交フレームを形成することを確立することにより、解析的にこの発見に到達した。 さまざまなデータセット、アーキテクチャ、不均衡シナリオにわたる大規模な実験が、私たちの発見を裏付けます。 実験の結果,ReLUの活性化は試験精度を損なうことなく対称性を回復させることがわかった。 これは不均衡下でのSCLの最初の幾何学的特徴である。 さらに, 解析と実験により, 表現幾何学におけるバッチ選択戦略の重要な役割を明らかにした。 不変対称表現を保証するミニバッチ選択に必要な十分条件を証明することにより、これらの条件が保持されるのを保証する効率的な戦略としてバッチバインディングを導入する。

関連論文リスト

• Bridging Mini-Batch and Asymptotic Analysis in Contrastive Learning: From InfoNCE to Kernel-Based Losses [20.273126099815517]
  異なるコントラスト学習(CL)の損失は、実際には最適化されているのでしょうか? DHEL(Decoupled Hyperspherical Energy Loss)を新たに導入する。 我々は、カーネルコントラスト学習(KCL)という別の関連するCLファミリに対して、期待される損失がバッチサイズに依存しないことの利点として、同じ結果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:00:41Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix [80.2675125037624]
  上述の4種類の手法に適合する新しい統合コントラスト学習表現フレームワーク(UniCLR)を提案する。 SimAffinity、SimWhitening、SimTraceの3つの変種はUniCLRに基づいている。 さらに、この枠組みに基づいて、新しい整合正則化項として単純な対称損失が提案される。
  論文  参考訳（メタデータ） (2022-11-26T08:55:30Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Center Prediction Loss for Re-identification [65.58923413172886]
  我々は, 中心予測率に基づく新たな損失, すなわち, 試料が特徴空間の位置に位置しなければならず, そこから同一クラス標本の中心の位置を大まかに予測できることを示す。 今回の新たな損失により,クラス間サンプルの分離性が向上しつつ,クラス内分散制約がより柔軟になることを示す。
  論文  参考訳（メタデータ） (2021-04-30T03:57:31Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。