論文の概要: Variational Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.07413v1
• Date: Mon, 09 Jun 2025 04:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.80243
• Title: Variational Supervised Contrastive Learning
• Title（参考訳）: 変分教師付きコントラスト学習
• Authors: Ziwen Wang, Jiajun Fan, Thao Nguyen, Heng Ji, Ge Liu,
• Abstract要約: 本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。 VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
• 参考スコア（独自算出の注目度）: 50.79938854370321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has proven to be highly efficient and adaptable in shaping representation spaces across diverse modalities by pulling similar samples together and pushing dissimilar ones apart. However, two key limitations persist: (1) Without explicit regulation of the embedding distribution, semantically related instances can inadvertently be pushed apart unless complementary signals guide pair selection, and (2) excessive reliance on large in-batch negatives and tailored augmentations hinders generalization. To address these limitations, we propose Variational Supervised Contrastive Learning (VarCon), which reformulates supervised contrastive learning as variational inference over latent class variables and maximizes a posterior-weighted evidence lower bound (ELBO) that replaces exhaustive pair-wise comparisons for efficient class-aware matching and grants fine-grained control over intra-class dispersion in the embedding space. Trained exclusively on image data, our experiments on CIFAR-10, CIFAR-100, ImageNet-100, and ImageNet-1K show that VarCon (1) achieves state-of-the-art performance for contrastive learning frameworks, reaching 79.36% Top-1 accuracy on ImageNet-1K and 78.29% on CIFAR-100 with a ResNet-50 encoder while converging in just 200 epochs; (2) yields substantially clearer decision boundaries and semantic organization in the embedding space, as evidenced by KNN classification, hierarchical clustering results, and transfer-learning assessments; and (3) demonstrates superior performance in few-shot learning than supervised baseline and superior robustness across various augmentation strategies.
• Abstract（参考訳）: コントラスト学習は、類似したサンプルをまとめて、異種を分解することによって、様々なモダリティにまたがる表現空間を形成する際に、非常に効率的で適応可能であることが証明されている。 しかし、(1)埋め込み分布の明示的な規制がなければ、補完的な信号がペアの選択をガイドしない限り、セマンティック関連インスタンスは必然的に分離でき、(2)大きなバッチ内陰性への過度な依存と調整された拡張は一般化を妨げる。 これらの制約に対処するために、教師付きコントラスト学習を潜在クラス変数に対する変動推論として再構成し、組込み空間におけるクラス内分散に対するきめ細かな制御を効率的に行うために、徹底的なペアワイズ比較を置き換えた後重み付きエビデンスローバウンド(ELBO)を最大化する変分教師付きコントラスト学習(VarCon)を提案する。 CIFAR-10, CIFAR-100, ImageNet-100, ImageNet-1Kにのみトレーニングを行った結果,VarCon (1)は対照的な学習フレームワークに対して最先端のパフォーマンスを達成し, ImageNet-1Kでは79.36%, ResNet-50エンコーダでは78.29%に達した。

関連論文リスト

• Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors [3.050634053489509]
  Contrastive Disentangling(CD)は、クラス事前に依存することなく表現を学習するように設計されたフレームワークである。 CDはインスタンスレベルと特徴レベルのコントラスト損失を正規化エントロピー損失と統合し、意味的にリッチできめ細かな表現をキャプチャする。
  論文  参考訳（メタデータ） (2024-09-07T16:39:14Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Generalized Supervised Contrastive Learning [3.499054375230853]
  ラベル類似度と潜在類似度との相互エントロピーを測定する一般化された教師付きコントラスト損失を導入する。 既存のコントラスト学習フレームワークと比較して,汎用監視コントラスト学習(Generalized Supervised Contrastive Learning, GenSCL)という,カスタマイズされたフレームワークを構築している。 GenSCLはImageNetで77.3%というトップ1の精度を達成しており、従来の教師付きコントラスト学習よりも4.1%改善している。
  論文  参考訳（メタデータ） (2022-06-01T10:38:21Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Unsupervised Representation Learning by InvariancePropagation [34.53866045440319]
  本稿では,カテゴリーレベルの変分に不変な学習表現に焦点をあてる不変分散伝播を提案する。 バックボーンとしてResNet-50を用いると、ImageNetの線形分類では71.3%の精度で、1%のラベルだけで78.2%の精度で微調整できる。 また、Places205とPascal VOCの線形分類や、小規模データセットでの転送学習など、他の下流タスクにおける最先端のパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2020-10-07T13:00:33Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)
• A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
  本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。 我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。 我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-02-13T18:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。