論文の概要: An Asymmetric Contrastive Loss for Handling Imbalanced Datasets
- arxiv url: http://arxiv.org/abs/2207.07080v1
- Date: Thu, 14 Jul 2022 17:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 12:35:42.413563
- Title: An Asymmetric Contrastive Loss for Handling Imbalanced Datasets
- Title（参考訳）: 不均衡データセット処理のための非対称コントラスト損失
- Authors: Valentino Vito and Lim Yohanes Stefanus
- Abstract要約: ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。
さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。
FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning is a representation learning method performed by
contrasting a sample to other similar samples so that they are brought closely
together, forming clusters in the feature space. The learning process is
typically conducted using a two-stage training architecture, and it utilizes
the contrastive loss (CL) for its feature learning. Contrastive learning has
been shown to be quite successful in handling imbalanced datasets, in which
some classes are overrepresented while some others are underrepresented.
However, previous studies have not specifically modified CL for imbalanced
datasets. In this work, we introduce an asymmetric version of CL, referred to
as ACL, in order to directly address the problem of class imbalance. In
addition, we propose the asymmetric focal contrastive loss (AFCL) as a further
generalization of both ACL and focal contrastive loss (FCL). Results on the
FMNIST and ISIC 2018 imbalanced datasets show that AFCL is capable of
outperforming CL and FCL in terms of both weighted and unweighted
classification accuracies. In the appendix, we provide a full axiomatic
treatment on entropy, along with complete proofs.
- Abstract（参考訳）: コントラスト学習(con contrastive learning)は、サンプルを他の類似したサンプルと対比して、それらを密接に結合し、特徴空間にクラスタを形成する表現学習手法である。
学習プロセスは典型的には2段階のトレーニングアーキテクチャを用いて行われ、特徴学習には対照的な損失(CL)を用いる。
対照的な学習は、不均衡なデータセットを扱うことに非常に成功していることが示されている。
しかし、以前の研究では、不均衡なデータセットに対するCLを特に修正していない。
本研究では、クラス不均衡の問題を直接解決するために、ACLと呼ばれる非対称なCLを導入する。
さらに、ACLとFCLの両方のさらなる一般化として、非対称焦点コントラスト損失(AFCL)を提案する。
FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
虫垂では、エントロピーに関する完全な公理的な治療と完全な証明を提供する。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。
また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
論文 参考訳（メタデータ） (2023-11-09T04:40:32Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-10-30T03:32:04Z) - ECL: Class-Enhancement Contrastive Learning for Long-tailed Skin Lesion
Classification [7.7379419801373475]
皮膚画像データセットは、しばしば不均衡なデータ分布に悩まされ、コンピュータ支援皮膚疾患の診断が困難になる。
本稿では,マイノリティクラスの情報を豊かにし,異なるクラスを平等に扱うクラス・エンハンスメント・コントラシティブ・ラーニング(ECL)を提案する。
論文 参考訳（メタデータ） (2023-07-09T09:29:15Z) - Symmetric Neural-Collapse Representations with Supervised Contrastive
Loss: The Impact of ReLU and Batching [26.994954303270575]
スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。
従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。
最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
論文 参考訳（メタデータ） (2023-06-13T17:55:39Z) - Supervised Contrastive Learning with Hard Negative Samples [16.42457033976047]
対照的学習(CL)では、正のサンプルを互いに近づき、有用な表現関数を学習する。
クラス情報がない場合、負のサンプルはアンカーとは無関係にランダムに選択される。
Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を避ける。
論文 参考訳（メタデータ） (2022-08-31T19:20:04Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z) - Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文 参考訳（メタデータ） (2022-07-19T03:48:59Z) - Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。
非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。
実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2022-07-18T04:14:36Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳（メタデータ） (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。