論文の概要: Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition
- arxiv url: http://arxiv.org/abs/2203.11506v1
- Date: Tue, 22 Mar 2022 07:30:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 14:16:51.673517
- Title: Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition
- Title（参考訳）: 長期音声認識のための再バランス型シームズコントラストマイニング
- Authors: Zhisheng Zhong, Jiequan Cui, Eric Lo, Zeming Li, Jian Sun, Jiaya Jia
- Abstract要約: 教師付きコントラスト学習は、元のバッチレベルとシームズバッチレベルの両方において、二重クラス不均衡の問題に悩まされていることを示す。
コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
- 参考スコア（独自算出の注目度）: 120.80038161330623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks perform poorly on heavily class-imbalanced datasets.
Given the promising performance of contrastive learning, we propose
$\mathbf{Re}$balanced $\mathbf{S}$iamese $\mathbf{Co}$ntrastive
$\mathbf{m}$ining ( $\mathbf{ResCom}$) to tackle imbalanced recognition. Based
on the mathematical analysis and simulation results, we claim that supervised
contrastive learning suffers a dual class-imbalance problem at both the
original batch and Siamese batch levels, which is more serious than long-tailed
classification learning. In this paper, at the original batch level, we
introduce a class-balanced supervised contrastive loss to assign adaptive
weights for different classes. At the Siamese batch level, we present a
class-balanced queue, which maintains the same number of keys for all classes.
Furthermore, we note that the contrastive loss gradient with respect to the
contrastive logits can be decoupled into the positives and negatives, and easy
positives and easy negatives will make the contrastive gradient vanish. We
propose supervised hard positive and negative pairs mining to pick up
informative pairs for contrastive computation and improve representation
learning. Finally, to approximately maximize the mutual information between the
two views, we propose Siamese Balanced Softmax and joint it with the
contrastive loss for one-stage training. ResCom outperforms the previous
methods by large margins on multiple long-tailed recognition benchmarks. Our
code will be made publicly available at:
https://github.com/dvlab-research/ResCom.
- Abstract（参考訳）: ディープニューラルネットワークは、クラス不均衡なデータセットではパフォーマンスが劣る。
コントラスト学習の有望な性能を考えると、不均衡認識に取り組むために、$\mathbf{Re}$ Balanced $\mathbf{S}$iamese $\mathbf{Co}$ntrastive $\mathbf{m}$ining ($\mathbf{ResCom}$)を提案する。
数学的解析とシミュレーションの結果から,教師付きコントラスト学習は,従来のバッチレベルとシャム語バッチレベルの両方において,二重クラス不均衡問題に陥っていることが示唆された。
本稿では,本論文のバッチレベルでは,異なるクラスに対して適応重みを割り当てるために,教師付きコントラスト損失をクラスバランスで導入する。
siameseバッチレベルでは、すべてのクラスで同じ数のキーを保持するクラスバランスキューを示します。
さらに、対比ロジットに対する対照的な損失勾配は、正と負に分解することができ、容易な正と容易な負は、対照的な勾配を消滅させる。
コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
最後に,両視点間の相互情報をほぼ最大化するために,一段階訓練における対照損失とシアームバランスソフトマックスを提案する。
rescomは、複数のロングテールの認識ベンチマークにおいて、以前の手法を大きなマージンで上回っている。
私たちのコードは、https://github.com/dvlab-research/ResComで公開されます。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Mixup Your Own Pairs [22.882694278940598]
我々は、回帰に対する対照的な学習の可能性は、2つの重要な側面(常性認識と硬さ)を無視しているため、隠蔽されていると論じる。
具体的には,Mix(SupReMix)を用いた回帰学習における教師付きコントラスト学習を提案する。
アンカー・インクルージョン混合物(アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン
論文 参考訳（メタデータ） (2023-09-28T17:38:59Z) - Class Instance Balanced Learning for Long-Tailed Classification [0.0]
ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を扱う。
従来のアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、長いタスクのパフォーマンスが向上することが示されている。
学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
論文 参考訳（メタデータ） (2023-07-11T15:09:10Z) - Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文 参考訳（メタデータ） (2022-07-19T03:48:59Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳（メタデータ） (2022-01-08T07:48:36Z) - Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image
Retrieval [51.42470171051007]
本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。
DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。
モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
論文 参考訳（メタデータ） (2021-12-15T08:36:44Z) - You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。
ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。
CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2021-12-11T11:44:09Z) - Parametric Contrastive Learning [65.70554597097248]
本研究では,長期学習のためのパラメトリックコントラスト学習(PaCo)を提案する。
PaCoは、同じクラスのクローズのサンプルをプッシュする強度を適応的に増強することができる。
長い尾を持つCIFAR、ImageNet、Places、iNaturalist 2018の実験は、長い尾を持つ認識のための新しい最先端技術を示している。
論文 参考訳（メタデータ） (2021-07-26T08:37:23Z) - Mitigating Dataset Imbalance via Joint Generation and Classification [17.57577266707809]
教師付きディープラーニング手法は、コンピュータビジョンの多くの実践的応用において大きな成功を収めている。
バイアスや不均衡データに対する顕著な性能劣化は、これらの手法の信頼性に疑問を投げかける。
ニューラルネットワーク分類器とGAN(Generative Adversarial Networks)を組み合わせた共同データセット修復戦略を提案する。
重度のクラス不均衡に対する分類器とGANの堅牢性向上に寄与することを示す。
論文 参考訳（メタデータ） (2020-08-12T18:40:38Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。