論文の概要: When hard negative sampling meets supervised contrastive learning
- arxiv url: http://arxiv.org/abs/2308.14893v1
- Date: Mon, 28 Aug 2023 20:30:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:48:25.339950
- Title: When hard negative sampling meets supervised contrastive learning
- Title（参考訳）: ハードネガティブサンプリングが教師付きコントラスト学習に合うとき
- Authors: Zijun Long, George Killick, Richard McCreadie, Gerardo Aragon
Camarasa, Zaiqiao Meng
- Abstract要約: 我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。
SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。
提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
- 参考スコア（独自算出の注目度）: 17.173114048398947
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: State-of-the-art image models predominantly follow a two-stage strategy:
pre-training on large datasets and fine-tuning with cross-entropy loss. Many
studies have shown that using cross-entropy can result in sub-optimal
generalisation and stability. While the supervised contrastive loss addresses
some limitations of cross-entropy loss by focusing on intra-class similarities
and inter-class differences, it neglects the importance of hard negative
mining. We propose that models will benefit from performance improvement by
weighting negative samples based on their dissimilarity to positive
counterparts. In this paper, we introduce a new supervised contrastive learning
objective, SCHaNe, which incorporates hard negative sampling during the
fine-tuning phase. Without requiring specialized architectures, additional
data, or extra computational resources, experimental results indicate that
SCHaNe outperforms the strong baseline BEiT-3 in Top-1 accuracy across various
benchmarks, with significant gains of up to $3.32\%$ in few-shot learning
settings and $3.41\%$ in full dataset fine-tuning. Importantly, our proposed
objective sets a new state-of-the-art for base models on ImageNet-1k, achieving
an 86.14\% accuracy. Furthermore, we demonstrate that the proposed objective
yields better embeddings and explains the improved effectiveness observed in
our experiments.
- Abstract（参考訳）: 最先端の画像モデルは、主に2段階の戦略に従っている: 大規模なデータセットの事前トレーニングと、クロスエントロピー損失を伴う微調整。
多くの研究は、クロスエントロピーを使うことが準最適一般化と安定性をもたらすことを示した。
教師付きコントラスト損失は、クラス内類似性やクラス間差異に着目して、クロスエントロピー損失のいくつかの制限に対処するが、ハードネガティブマイニングの重要性を無視する。
モデルでは, 正の値との相似性に基づいて負のサンプルを重み付けすることで, 性能改善の恩恵を受ける。
本稿では,教師付きコントラスト学習の目標であるschaneについて紹介する。
特別なアーキテクチャ、追加のデータ、または余分な計算リソースを必要とせず、実験の結果、scheneは様々なベンチマークでトップ1の精度でbeit-3を上回っており、わずかな学習設定で最大3.32\%、データセットの微調整で3.41\$となっている。
重要なことに、提案手法はimagenet-1kのベースモデルに対して86.14\%の精度で最新技術を設定する。
さらに,提案する目標がより優れた組込みをもたらすことを実証し,実験で得られた有効性について解説する。
関連論文リスト
- Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。
ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。
我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-18T15:45:41Z) - OOD-CV-v2: An extended Benchmark for Robustness to Out-of-Distribution
Shifts of Individual Nuisances in Natural Images [59.51657161097337]
OOD-CV-v2は、ポーズ、形状、テクスチャ、コンテキスト、気象条件の10のオブジェクトカテゴリのアウト・オブ・ディストリビューションの例を含むベンチマークデータセットである。
この新たなデータセットに加えて、一般的なベースライン手法を用いた広範な実験にも貢献する。
論文 参考訳（メタデータ） (2023-04-17T20:39:25Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳（メタデータ） (2022-10-18T22:33:12Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳（メタデータ） (2022-08-18T13:25:30Z) - Guided Point Contrastive Learning for Semi-supervised Point Cloud
Semantic Segmentation [90.2445084743881]
そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。
近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
論文 参考訳（メタデータ） (2021-10-15T16:38:54Z) - Are Negative Samples Necessary in Entity Alignment? An Approach with
High Performance, Scalability and Robustness [26.04006507181558]
本稿では,高パフォーマンス,高スケーラビリティ,高ロバスト性を実現する3つの新しいコンポーネントを持つ新しいEA手法を提案する。
提案手法の有効性と有効性を検討するために,いくつかの公開データセットについて詳細な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T15:20:41Z) - Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。
まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
論文 参考訳（メタデータ） (2021-08-06T07:26:08Z) - Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文 参考訳（メタデータ） (2021-05-27T08:38:29Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳（メタデータ） (2021-02-12T16:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。