論文の概要: On the Similarities of Embeddings in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.09781v1
• Date: Wed, 11 Jun 2025 14:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.044883
• Title: On the Similarities of Embeddings in Contrastive Learning
• Title（参考訳）: コントラスト学習における埋め込みの類似性について
• Authors: Chungpa Lee, Sehee Lim, Kibok Lee, Jy-yong Sohn,
• Abstract要約: 本稿では,正対と負対の埋め込みのコサイン類似性を解析し,比較学習(CL)を理解するための統一的な枠組みを提案する。 フルバッチ設定では、負のペアの類似性が一定の閾値以下に低下した場合、正のペアの完全アライメントは達成不可能であり、この不一致は、内的負のペアを組み込むことによって軽減できることを示す。 ミニバッチ設定では、バッチ内の負のペア間のより小さなバッチサイズがより強く分離され、負のペアの類似性がより高くなることを示す。
• 参考スコア（独自算出の注目度）: 14.990069890488712
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive learning (CL) operates on a simple yet effective principle: embeddings of positive pairs are pulled together, while those of negative pairs are pushed apart. Although various forms of contrastive loss have been proposed and analyzed from different perspectives, prior works lack a comprehensive framework that systematically explains a broad class of these objectives. In this paper, we present a unified framework for understanding CL, which is based on analyzing the cosine similarity between embeddings of positive and negative pairs. In full-batch settings, we show that perfect alignment of positive pairs is unattainable when similarities of negative pairs fall below a certain threshold, and that this misalignment can be alleviated by incorporating within-view negative pairs. In mini-batch settings, we demonstrate that smaller batch sizes incur stronger separation among negative pairs within batches, which leads to higher variance in similarities of negative pairs. To address this limitation of mini-batch CL, we introduce an auxiliary loss term that reduces the variance of similarities of negative pairs in CL. Empirical results demonstrate that incorporating the proposed loss consistently improves the performance of CL methods in small-batch training.
• Abstract（参考訳）: 対照的学習(CL)は単純だが効果的な原理であり、正のペアの埋め込みをまとめ、負のペアのペアを分割する。 コントラスト的損失の様々な形態が提案され、異なる視点から分析されてきたが、先行研究にはこれらの目的の幅広いクラスを体系的に説明する包括的な枠組みが欠如している。 本稿では,正対と負対の埋め込みのコサイン類似性を解析し,CLを理解するための統一的な枠組みを提案する。 フルバッチ設定では、負のペアの類似性が一定の閾値以下に低下した場合、正のペアの完全アライメントは達成不可能であり、この不一致は、内的負のペアを組み込むことによって軽減できることを示す。 ミニバッチ設定では、バッチ内の負のペア間のより小さなバッチサイズがより強く分離され、負のペアの類似性がより高くなることを示す。 ミニバッチCLのこの制限に対処するために、CLにおける負の対の類似性のばらつきを低減する補助的損失項を導入する。 実験の結果,提案した損失を組み込むことで,小バッチ学習におけるCL法の性能が一貫した改善が得られた。

関連論文リスト

• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Bridging Mini-Batch and Asymptotic Analysis in Contrastive Learning: From InfoNCE to Kernel-Based Losses [20.273126099815517]
  異なるコントラスト学習(CL)の損失は、実際には最適化されているのでしょうか? DHEL(Decoupled Hyperspherical Energy Loss)を新たに導入する。 我々は、カーネルコントラスト学習(KCL)という別の関連するCLファミリに対して、期待される損失がバッチサイズに依存しないことの利点として、同じ結果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:00:41Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Unified Negative Pair Generation toward Well-discriminative Feature Space for Face Recognition [2.816374336026564]
  顔認識モデルは、$infmathcalSp > supmathcalSn$を満たす、よく識別可能な特徴空間(WDFS)を形成する。 本稿では,2つのPG戦略を組み合わせることにより,統一負対生成(UNPG)を提案する。
  論文  参考訳（メタデータ） (2022-03-22T10:21:11Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。