論文の概要: On the Similarities of Embeddings in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.09781v2
• Date: Tue, 15 Jul 2025 05:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:04.693965
• Title: On the Similarities of Embeddings in Contrastive Learning
• Title（参考訳）: コントラスト学習における埋め込みの類似性について
• Authors: Chungpa Lee, Sehee Lim, Kibok Lee, Jy-yong Sohn,
• Abstract要約: 本稿では,コサイン類似性のレンズを通して,コントラスト学習を理解するための統一的な枠組みを提案する。 負対類似度がしきい値を下回ると、正対の完全アライメントは達成不可能であることを示す。 ミニバッチ設定における負対類似性の分散を低減する補助損失を提案する。
• 参考スコア（独自算出の注目度）: 14.990069890488712
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive learning operates on a simple yet effective principle: Embeddings of positive pairs are pulled together, while those of negative pairs are pushed apart. In this paper, we propose a unified framework for understanding contrastive learning through the lens of cosine similarity, and present two key theoretical insights derived from this framework. First, in full-batch settings, we show that perfect alignment of positive pairs is unattainable when negative-pair similarities fall below a threshold, and this misalignment can be mitigated by incorporating within-view negative pairs into the objective. Second, in mini-batch settings, smaller batch sizes induce stronger separation among negative pairs in the embedding space, i.e., higher variance in their similarities, which in turn degrades the quality of learned representations compared to full-batch settings. To address this, we propose an auxiliary loss that reduces the variance of negative-pair similarities in mini-batch settings. Empirical results show that incorporating the proposed loss improves performance in small-batch settings.
• Abstract（参考訳）: 対照的な学習は単純だが効果的な原則である: 正のペアの埋め込みはまとめられ、負のペアの埋め込みは引き離される。 本稿では,コサイン類似性のレンズを通してコントラスト学習を理解するための統一的な枠組みを提案する。 まず, 正対の完全整合性は, 負対類似性がしきい値以下に低下した場合は達成不可能であり, この不整合性は, 視野内負対を目的値に組み込むことで緩和できることを示す。 第二に、ミニバッチ設定では、より小さなバッチサイズは、埋め込み空間における負のペア間のより強い分離、すなわち、それらの類似性のばらつきを誘発し、フルバッチ設定と比較して学習された表現の質を低下させる。 これを解決するために,ミニバッチ設定における負対類似性の分散を低減する補助損失を提案する。 実験結果から,提案した損失を組み込むことで,小バッチ環境での性能が向上することが示された。

関連論文リスト

• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Bridging Mini-Batch and Asymptotic Analysis in Contrastive Learning: From InfoNCE to Kernel-Based Losses [20.273126099815517]
  異なるコントラスト学習(CL)の損失は、実際には最適化されているのでしょうか? DHEL(Decoupled Hyperspherical Energy Loss)を新たに導入する。 我々は、カーネルコントラスト学習(KCL)という別の関連するCLファミリに対して、期待される損失がバッチサイズに依存しないことの利点として、同じ結果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:00:41Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
  特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。 この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。 実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-10-10T02:24:21Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Unified Negative Pair Generation toward Well-discriminative Feature Space for Face Recognition [2.816374336026564]
  顔認識モデルは、$infmathcalSp > supmathcalSn$を満たす、よく識別可能な特徴空間(WDFS)を形成する。 本稿では,2つのPG戦略を組み合わせることにより,統一負対生成(UNPG)を提案する。
  論文  参考訳（メタデータ） (2022-03-22T10:21:11Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。