論文の概要: ScoreCL: Augmentation-Adaptive Contrastive Learning via Score-Matching Function

• arxiv url: http://arxiv.org/abs/2306.04175v2
• Date: Fri, 15 Mar 2024 14:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 07:42:00.909625
• Title: ScoreCL: Augmentation-Adaptive Contrastive Learning via Score-Matching Function
• Title（参考訳）: ScoreCL: スコアマッチング機能による拡張適応型コントラスト学習
• Authors: Jin-Young Kim, Soonwoo Kwon, Hyojun Go, Yunsung Lee, Seungtaek Choi,
• Abstract要約: 自己教師付きコントラスト学習(CL)は表現学習において最先端のパフォーマンスを達成した。 各種CL法を一貫して改良することにより,ScoreCLと呼ばれる手法の汎用性を示す。
• 参考スコア（独自算出の注目度）: 14.695161466640288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised contrastive learning (CL) has achieved state-of-the-art performance in representation learning by minimizing the distance between positive pairs while maximizing that of negative ones. Recently, it has been verified that the model learns better representation with diversely augmented positive pairs because they enable the model to be more view-invariant. However, only a few studies on CL have considered the difference between augmented views, and have not gone beyond the hand-crafted findings. In this paper, we first observe that the score-matching function can measure how much data has changed from the original through augmentation. With the observed property, every pair in CL can be weighted adaptively by the difference of score values, resulting in boosting the performance of the existing CL method. We show the generality of our method, referred to as ScoreCL, by consistently improving various CL methods, SimCLR, SimSiam, W-MSE, and VICReg, up to 3%p in k-NN evaluation on CIFAR-10, CIFAR-100, and ImageNet-100. Moreover, we have conducted exhaustive experiments and ablations, including results on diverse downstream tasks, comparison with possible baselines, and improvement when used with other proposed augmentation methods. We hope our exploration will inspire more research in exploiting the score matching for CL.
• Abstract（参考訳）: 自己教師付きコントラスト学習(CL)は、正のペア間の距離を最小化し、負のペア間の距離を最大化し、表現学習における最先端のパフォーマンスを達成した。 近年,モデルが多彩な正のペアでより良い表現を学習することが確認されている。 しかし、CLに関するいくつかの研究は、拡張的な視点の違いを考慮し、手作りの知見を超えていない。 本稿では、まず、スコアマッチング関数が、元のデータから拡張までの変化量を測定することができることを観察する。 観測特性により、CL内の各ペアはスコア値の差により適応的に重み付けが可能となり、既存のCL法の性能が向上する。 我々は,CIFAR-10,CIFAR-100,ImageNet-100のk-NN評価において,SimCLR,SimSiam,W-MSE,VICRegの様々なCL法を一貫して改良し,ScoreCLと呼ばれる手法の一般性を示す。 さらに,様々な下流タスクの結果,ベースラインとの比較,および他の拡張手法を用いた場合の改善など,徹底的な実験と改善を実施してきた。 CLのスコアマッチングを利用したさらなる研究が期待できる。

関連論文リスト

• The Hard Positive Truth about Vision-Language Compositionality [64.8065854134201]
  視覚言語モデルがハードポジティクスに不変であるかどうかを考察する。 強陰性字幕と強陰性字幕を併用した1,775,259枚の画像テキスト・トレーニングセットを作成した。 本研究は,CLIPの「肯定的」概念間の意味的関係の理解を徹底的に検証し,改善するための今後の研究の必要性を示唆するものである。
  論文  参考訳（メタデータ） (2024-09-26T15:36:10Z)
• AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
  まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。 本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T10:46:11Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Enhancing Contrastive Learning with Efficient Combinatorial Positive Pairing [2.7961972519572442]
  コントラスト的手法や非コントラスト的手法の学習速度と性能を向上させるための一般的なマルチビュー戦略を提案する。 ImageNet-100の場合、ECPPはSimCLRが教師あり学習より優れていた。
  論文  参考訳（メタデータ） (2024-01-11T08:18:30Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Self Contrastive Learning for Session-based Recommendation [16.69827431125858]
  SCL(Self-Contrastive Learning)は、アイテム表現間の一様分布を直接促進する目的関数として定式化されている。 SCLは、統計的に重要な最先端モデルの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-06-02T04:43:21Z)
• CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1 Accuracy with ViT-B and ViT-L on ImageNet [139.56863124214905]
  CLIPの微調整性能はかなり過小評価されている。 具体的には、CLIP ViT-Base/16とCLIP ViT-Large/14は、ImageNet-1KデータセットのTop-1精度を85.7%、88.0%微調整することができる。
  論文  参考訳（メタデータ） (2022-12-12T18:59:59Z)
• Improving Dense Contrastive Learning with Dense Negative Pairs [15.728417548134047]
  本研究では,DenseCLが学習した表現の質を,学習手法や目的関数を改良して向上させる方法について検討する。 以上の結果から,COCO多ラベル分類におけるSimCLRおよびDenseCLの3.5%と4%のmAP改善が認められた。
  論文  参考訳（メタデータ） (2022-10-11T00:26:59Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。