論文の概要: A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2503.08203v1
• Date: Tue, 11 Mar 2025 09:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:08.331304
• Title: A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習におけるクラス崩壊防止のための理論的枠組み
• Authors: Chungpa Lee, Jeongheon Oh, Kibok Lee, Jy-yong Sohn,
• Abstract要約: 教師付きコントラスト学習(SupCL)は、表現学習において顕著なアプローチとして現れている。 本稿では,SupCLの学習表現におけるクラス崩壊を防止するためのガイドラインについて理論的に検討する。
• 参考スコア（独自算出の注目度）: 13.790114327022449
• License:
• Abstract: Supervised contrastive learning (SupCL) has emerged as a prominent approach in representation learning, leveraging both supervised and self-supervised losses. However, achieving an optimal balance between these losses is challenging; failing to do so can lead to class collapse, reducing discrimination among individual embeddings in the same class. In this paper, we present theoretically grounded guidelines for SupCL to prevent class collapse in learned representations. Specifically, we introduce the Simplex-to-Simplex Embedding Model (SSEM), a theoretical framework that models various embedding structures, including all embeddings that minimize the supervised contrastive loss. Through SSEM, we analyze how hyperparameters affect learned representations, offering practical guidelines for hyperparameter selection to mitigate the risk of class collapse. Our theoretical findings are supported by empirical results across synthetic and real-world datasets.
• Abstract（参考訳）: 教師付きコントラスト学習(SupCL)は、教師付き学習と自己監督型学習の両方の損失を利用して、表現学習において顕著なアプローチとして登場した。 しかし、これらの損失の最適バランスを達成することは困難であり、そうしないとクラスが崩壊し、同じクラス内の個々の埋め込みの識別が減少する可能性がある。 本稿では,SupCLの学習表現におけるクラス崩壊を防止するための理論的根拠としたガイドラインを提案する。 具体的には、教師付きコントラスト損失を最小限に抑える埋め込みを含む、様々な埋め込み構造をモデル化する理論的フレームワークであるSimplex-to-Simplex Embedding Model(SSEM)を紹介する。 SSEMを用いて,ハイパーパラメータが学習表現に与える影響を分析し,クラス崩壊のリスクを軽減するために,ハイパーパラメータ選択の実践的ガイドラインを提供する。 我々の理論的知見は、人工および実世界のデータセットにまたがる経験的な結果によって裏付けられている。

関連論文リスト

• On the Discrimination and Consistency for Exemplar-Free Class Incremental Learning [19.898602404329697]
  Exemplar-free class incremental learning (EF-CIL) は非自明なタスクであり、新しいクラスでモデル能力を継続的に強化し、古いクラスの例を保存・再生することなく、学習した知識を維持しながら、新しいクラスでモデル能力を増強する必要がある。 CILのための新たな理論誘導フレームワークは、共有ネットワークのタスク固有モデルを訓練し、忘れるプレッシャーをタスクID予測にシフトさせる。 EF-CILでは、タスク間相互作用の欠如(例:例題のリプレイ)によりタスクID予測がより困難になる。
  論文  参考訳（メタデータ） (2025-01-26T08:50:33Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Large Margin Discriminative Loss for Classification [3.3975558777609915]
  本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内のコンパクト性とクラス間の分離性によって表現されるニューラルネットワークの識別力を高める。 トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新という戦略を設計する。
  論文  参考訳（メタデータ） (2024-05-28T18:10:45Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• An Investigation of Representation and Allocation Harms in Contrastive Learning [55.42336321517228]
  比較学習 (CL) は, 少数集団と少数集団の表現を崩壊させる傾向にあることを示す。 本稿では,この現象を表現障害と呼び,対応するCL手法を用いて画像とテキストのデータセットに示す。 対照的な学習環境において,表現の崩壊につながるニューラルブロックモデルを用いて表現障害の理論的説明を行う。
  論文  参考訳（メタデータ） (2023-10-02T19:25:37Z)
• Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis [10.29814984060018]
  Kernel Contrastive Learning (KCL) と呼ばれるカーネルベースのコントラスト学習フレームワークについて検討する。 本稿では,統計的依存関係の観点から学習表現の類似性構造を定式化する。 下流タスクの分類誤差の新しい上限を示し、これは我々の理論が比較学習の実証的成功と一致することを説明している。
  論文  参考訳（メタデータ） (2023-04-01T21:53:29Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。