論文の概要: Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching

• arxiv url: http://arxiv.org/abs/2306.07960v2
• Date: Wed, 18 Oct 2023 19:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 19:49:06.915458
• Title: Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching
• Title（参考訳）: コントラスト損失が抑制された対称的神経崩壊表現:ReLUとバッチの影響
• Authors: Ganesh Ramachandra Kini, Vala Vakilian, Tina Behnia, Jaidev Gill, Christos Thrampoulidis
• Abstract要約: スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
• 参考スコア（独自算出の注目度）: 26.994954303270575
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Supervised contrastive loss (SCL) is a competitive and often superior alternative to the cross-entropy loss for classification. While prior studies have demonstrated that both losses yield symmetric training representations under balanced data, this symmetry breaks under class imbalances. This paper presents an intriguing discovery: the introduction of a ReLU activation at the final layer effectively restores the symmetry in SCL-learned representations. We arrive at this finding analytically, by establishing that the global minimizers of an unconstrained features model with SCL loss and entry-wise non-negativity constraints form an orthogonal frame. Extensive experiments conducted across various datasets, architectures, and imbalance scenarios corroborate our finding. Importantly, our experiments reveal that the inclusion of the ReLU activation restores symmetry without compromising test accuracy. This constitutes the first geometry characterization of SCL under imbalances. Additionally, our analysis and experiments underscore the pivotal role of batch selection strategies in representation geometry. By proving necessary and sufficient conditions for mini-batch choices that ensure invariant symmetric representations, we introduce batch-binding as an efficient strategy that guarantees these conditions hold.
• Abstract（参考訳）: 教師付きコントラスト損失 (supervised contrastive loss, scl) は、分類におけるクロスエントロピー損失(cross-entropy loss)に代わる、競争的でしばしば優れた代替手段である。 以前の研究では、両方の損失がバランスデータの下で対称なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破られる。 本稿では,最終層にreluアクティベーションを導入することで,scl学習表現の対称性を効果的に回復する,興味深い発見を提案する。 我々は、SCL損失とエントリーワイド非負性制約を持つ非制約特徴モデルの大域的最小化が直交フレームを形成することを確立することにより、解析的にこの発見に到達した。 さまざまなデータセット、アーキテクチャ、不均衡シナリオにわたる大規模な実験が、私たちの発見を裏付けます。 実験の結果,ReLUの活性化は試験精度を損なうことなく対称性を回復させることがわかった。 これは不均衡下でのSCLの最初の幾何学的特徴である。 さらに, 解析と実験により, 表現幾何学におけるバッチ選択戦略の重要な役割を明らかにした。 不変対称表現を保証するミニバッチ選択に必要な十分条件を証明することにより、これらの条件が保持されるのを保証する効率的な戦略としてバッチバインディングを導入する。

関連論文リスト

• Predicting symmetries of quantum dynamics with optimal samples [41.42817348756889]
  量子力学における対称性の同定は、量子技術に深く影響する重要な課題である。 グループ表現理論とサブグループ仮説テストを組み合わせた統合フレームワークを導入し,これらの対称性を最適効率で予測する。 我々は,並列戦略が適応プロトコルや不定値順序プロトコルと同じ性能を達成することを証明した。
  論文  参考訳（メタデータ） (2025-02-03T15:57:50Z)
• Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
  多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。 データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。 本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-25T04:29:04Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix [80.2675125037624]
  上述の4種類の手法に適合する新しい統合コントラスト学習表現フレームワーク(UniCLR)を提案する。 SimAffinity、SimWhitening、SimTraceの3つの変種はUniCLRに基づいている。 さらに、この枠組みに基づいて、新しい整合正則化項として単純な対称損失が提案される。
  論文  参考訳（メタデータ） (2022-11-26T08:55:30Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Center Prediction Loss for Re-identification [65.58923413172886]
  我々は, 中心予測率に基づく新たな損失, すなわち, 試料が特徴空間の位置に位置しなければならず, そこから同一クラス標本の中心の位置を大まかに予測できることを示す。 今回の新たな損失により,クラス間サンプルの分離性が向上しつつ,クラス内分散制約がより柔軟になることを示す。
  論文  参考訳（メタデータ） (2021-04-30T03:57:31Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。