論文の概要: Generalizing Supervised Contrastive learning: A Projection Perspective

• arxiv url: http://arxiv.org/abs/2506.09810v1
• Date: Wed, 11 Jun 2025 14:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.067108
• Title: Generalizing Supervised Contrastive learning: A Projection Perspective
• Title（参考訳）: 教師付きコントラスト学習の一般化:投影的視点
• Authors: Minoh Jeong, Alfred Hero,
• Abstract要約: 本稿では InfoNCE の損失を一般化した ProjNCE を紹介する。 ProjNCEは、SupConと標準のクロスエントロピートレーニングの両方で一貫して優れています。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised contrastive learning (SSCL) has emerged as a powerful paradigm for representation learning and has been studied from multiple perspectives, including mutual information and geometric viewpoints. However, supervised contrastive (SupCon) approaches have received comparatively little attention in this context: for instance, while InfoNCE used in SSCL is known to form a lower bound on mutual information (MI), the relationship between SupCon and MI remains unexplored. To address this gap, we introduce ProjNCE, a generalization of the InfoNCE loss that unifies supervised and self-supervised contrastive objectives by incorporating projection functions and an adjustment term for negative pairs. We prove that ProjNCE constitutes a valid MI bound and affords greater flexibility in selecting projection strategies for class embeddings. Building on this flexibility, we further explore the centroid-based class embeddings in SupCon by exploring a variety of projection methods. Extensive experiments on multiple datasets and settings demonstrate that ProjNCE consistently outperforms both SupCon and standard cross-entropy training. Our work thus refines SupCon along two complementary perspective--mutual information interpretation and projection design--and offers broadly applicable improvements whenever SupCon serves as the foundational contrastive objective.
• Abstract（参考訳）: 自己教師付きコントラスト学習(SSCL)は、表現学習の強力なパラダイムとして現れ、相互情報や幾何学的視点を含む複数の視点から研究されてきた。 SSCLで使用されるInfoNCEは相互情報(MI)の低い境界を形成することが知られているが、SupConとMIの関係は未解明のままである。 このギャップに対処するために、プロジェクション関数と負ペアの調整項を組み込むことで、教師付きおよび自己監督型コントラスト目的を統一するInfoNCE損失の一般化であるProjNCEを紹介する。 我々は、ProjNCEが有効なMI境界を構成し、クラス埋め込みのプロジェクション戦略を選択する際により大きな柔軟性を持つことを証明した。 この柔軟性に基づいて、様々なプロジェクション手法を探索することにより、センチロイドベースのSupConへのクラス埋め込みをさらに探求する。 複数のデータセットと設定に関する大規模な実験は、ProjNCEがSupConと標準的なクロスエントロピートレーニングの両方を一貫して上回っていることを示している。 そこで本研究は,SupConを相互情報解釈と投影設計という2つの相補的な視点で洗練し,SupConが基本的なコントラスト的目的である場合,広く適用可能な改善を提供する。

関連論文リスト

• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Imputation-free and Alignment-free: Incomplete Multi-view Clustering Driven by Consensus Semantic Learning [65.75756724642932]
  不完全なマルチビュークラスタリングでは、欠落したデータがビュー内のプロトタイプシフトとビュー間のセマンティック不整合を誘導する。 コンセンサスセマンティクス学習(FreeCSL)のためのIMVCフレームワークを提案する。 FreeCSLは、最先端の競合他社と比較して、IMVCタスクの信頼性と堅牢な割り当てを実現している。
  論文  参考訳（メタデータ） (2025-05-16T12:37:10Z)
• Your contrastive learning problem is secretly a distribution alignment problem [11.75699373180322]
  我々は、視覚と分布アライメントに広く用いられているノイズコントラスト推定損失の接続を構築した。 潜伏剤の分布からより多くの情報を利用することで、本手法は増分標本集合内の関係をより分布に意識した操作を可能にする。
  論文  参考訳（メタデータ） (2025-02-27T14:33:08Z)
• Towards Robust Recommendation via Decision Boundary-aware Graph Contrastive Learning [25.514007761856632]
  グラフコントラスト学習(GCL)は、データ間隔によるバイアスの低減効果により、レコメンデータシステムにおいて注目を集めている。 これらの手法は, 動的学習過程における意味的不変性と難易度とのバランスをとるのに苦慮していると論じる。 本稿では,モデル能力の進化に伴い,コントラッシブペアのセマンティック不変性を効果的に維持し,動的に適応する新しいGCLベースのレコメンデーションフレームワークRGCLを提案する。
  論文  参考訳（メタデータ） (2024-07-14T13:03:35Z)
• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。