Fugu-MT 論文翻訳(概要): Decoupled Contrastive Learning for Long-Tailed Recognition

論文の概要: Decoupled Contrastive Learning for Long-Tailed Recognition

arxiv url: http://arxiv.org/abs/2403.06151v1
Date: Sun, 10 Mar 2024 09:46:28 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 07:29:19.995008
Title: Decoupled Contrastive Learning for Long-Tailed Recognition
Title（参考訳）: 長文認識のための分離型コントラスト学習
Authors: Shiyu Xuan, Shiliang Zhang
Abstract要約: Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
参考スコア（独自算出の注目度）: 58.255966442426484
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Supervised Contrastive Loss (SCL) is popular in visual representation learning. Given an anchor image, SCL pulls two types of positive samples, i.e., its augmentation and other images from the same class together, while pushes negative images apart to optimize the learned embedding. In the scenario of long-tailed recognition, where the number of samples in each class is imbalanced, treating two types of positive samples equally leads to the biased optimization for intra-category distance. In addition, similarity relationship among negative samples, that are ignored by SCL, also presents meaningful semantic cues. To improve the performance on long-tailed recognition, this paper addresses those two issues of SCL by decoupling the training objective. Specifically, it decouples two types of positives in SCL and optimizes their relations toward different objectives to alleviate the influence of the imbalanced dataset. We further propose a patch-based self distillation to transfer knowledge from head to tail classes to relieve the under-representation of tail classes. It uses patch-based features to mine shared visual patterns among different instances and leverages a self distillation procedure to transfer such knowledge. Experiments on different long-tailed classification benchmarks demonstrate the superiority of our method. For instance, it achieves the 57.7% top-1 accuracy on the ImageNet-LT dataset. Combined with the ensemble-based method, the performance can be further boosted to 59.7%, which substantially outperforms many recent works. The code is available at https://github.com/SY-Xuan/DSCL.
Abstract（参考訳）: Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。アンカーイメージが与えられると、sclは2種類の正のサンプル、すなわち、その拡張と他のイメージを同じクラスからプルし、負のイメージを分離して学習した埋め込みを最適化する。各クラス内のサンプル数が不均衡なlong-tailed recognitionのシナリオでは、2種類の正のサンプルを等しく扱うと、カテゴリー間距離のバイアスド最適化が行われる。さらに、SCLによって無視される負のサンプル間の類似性関係も意味的な意味的手がかりを示す。本稿では,長期認識の性能向上のために,SCLの2つの課題に,学習目標を分離することで対処する。具体的には、SCLの2種類の正を分離し、異なる目的に対するそれらの関係を最適化し、不均衡なデータセットの影響を軽減する。さらに,末尾クラスの表現不足を緩和するために,末尾クラスから末尾クラスへ知識を移すパッチベースの自己蒸留法を提案する。パッチベースの機能を使用して、異なるインスタンス間の共有ビジュアルパターンをマイニングし、そのような知識を転送するために自己蒸留手順を利用する。異なる長尾分類ベンチマーク実験により,本手法の優位性を示した。例えば、ImageNet-LTデータセットの57.7%のトップ1精度を実現している。アンサンブルベースの手法と組み合わせることで、パフォーマンスをさらに59.7%に向上させることができる。コードはhttps://github.com/SY-Xuan/DSCLで公開されている。

関連論文リスト

Rank Supervised Contrastive Learning for Time Series Classification [19.446437832981545]
時系列分類を行うためにRankSCL(Rank Supervised Contrastive Learning)を提案する。 RankSCLは埋め込みスペースにおいて、ターゲットとする方法で生データを増強する。異なるレベルの正のサンプルに対して異なる重みを割り当てるために、新しいランク損失が開発された。
論文参考訳（メタデータ） (2024-01-31T18:29:10Z)
Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。本稿では,不均衡なデータに対する表現学習に着目した。バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文参考訳（メタデータ） (2022-07-19T03:48:59Z)
Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文参考訳（メタデータ） (2021-10-13T16:38:43Z)
Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文参考訳（メタデータ） (2021-05-16T09:13:56Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文参考訳（メタデータ） (2020-10-22T20:45:10Z)
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。