論文の概要: Center Contrastive Loss for Metric Learning
- arxiv url: http://arxiv.org/abs/2308.00458v1
- Date: Tue, 1 Aug 2023 11:22:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 14:21:04.716388
- Title: Center Contrastive Loss for Metric Learning
- Title(参考訳): メトリック学習における中心コントラスト損失
- Authors: Bolun Cai, Pengfei Xiong, Shangxuan Tian
- Abstract要約: 本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。
クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。
提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
- 参考スコア(独自算出の注目度): 8.433000039153407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning is a major studied topic in metric learning. However,
sampling effective contrastive pairs remains a challenge due to factors such as
limited batch size, imbalanced data distribution, and the risk of overfitting.
In this paper, we propose a novel metric learning function called Center
Contrastive Loss, which maintains a class-wise center bank and compares the
category centers with the query data points using a contrastive loss. The
center bank is updated in real-time to boost model convergence without the need
for well-designed sample mining. The category centers are well-optimized
classification proxies to re-balance the supervisory signal of each class.
Furthermore, the proposed loss combines the advantages of both contrastive and
classification methods by reducing intra-class variations and enhancing
inter-class differences to improve the discriminative power of embeddings. Our
experimental results, as shown in Figure 1, demonstrate that a standard network
(ResNet50) trained with our loss achieves state-of-the-art performance and
faster convergence.
- Abstract(参考訳): コントラスト学習は、計量学習における主要な研究課題である。
しかしながら、効果的なコントラストペアのサンプリングは、バッチサイズ、不均衡なデータ分散、過剰フィッティングのリスクといった要因によって、依然として課題となっている。
本稿では,クラス毎のセンタバンクを維持し,コントラスト損失を用いてカテゴリセンタとクエリデータポイントを比較する,センタコントラスト損失と呼ばれる新しいメトリック学習関数を提案する。
センターバンクは、適切に設計されたサンプルマイニングを必要とせず、モデル収束を促進するためにリアルタイムで更新される。
カテゴリセンターは、各クラスの監督信号を再均衡させるために、適切に最適化された分類プロキシである。
さらに, クラス内変異を低減し, クラス間差異を改善し, 組込みの判別能力を向上させることで, コントラスト法と分類法の利点を両立させた。
図1に示すように、我々の損失でトレーニングされた標準ネットワーク(ResNet50)が、最先端の性能とより高速な収束を実現することを示す実験結果である。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-08-04T09:11:07Z) - Exploring Classification Equilibrium in Long-Tailed Object Detection [29.069986049436157]
そこで本研究では,各カテゴリの平均分類スコアを用いて,各カテゴリの分類精度を示す。
EBL (Equilibrium Loss) と Memory-augmented Feature Smpling (MFS) 法による分類のバランスをとる。
尾クラスの検出性能を15.6 APで改善し、最新の長い尾を持つ物体検出器を1 AP以上で上回っている。
論文 参考訳(メタデータ) (2021-08-17T08:39:04Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳(メタデータ) (2021-05-16T09:13:56Z) - Center Prediction Loss for Re-identification [65.58923413172886]
我々は, 中心予測率に基づく新たな損失, すなわち, 試料が特徴空間の位置に位置しなければならず, そこから同一クラス標本の中心の位置を大まかに予測できることを示す。
今回の新たな損失により,クラス間サンプルの分離性が向上しつつ,クラス内分散制約がより柔軟になることを示す。
論文 参考訳(メタデータ) (2021-04-30T03:57:31Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳(メタデータ) (2021-02-20T14:57:58Z) - Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。
理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。
私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文 参考訳(メタデータ) (2021-02-09T13:58:33Z) - Fed-Focal Loss for imbalanced data classification in Federated Learning [2.2172881631608456]
Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。
課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。
焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
論文 参考訳(メタデータ) (2020-11-12T09:52:14Z) - Imbalanced Data Learning by Minority Class Augmentation using Capsule
Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。
我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。
カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文 参考訳(メタデータ) (2020-04-05T12:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。