Fugu-MT 論文翻訳(概要): Parametric Contrastive Learning

論文の概要: Parametric Contrastive Learning

arxiv url: http://arxiv.org/abs/2107.12028v1
Date: Mon, 26 Jul 2021 08:37:23 GMT
ステータス: 処理完了
システム内更新日: 2021-07-27 16:02:23.615651
Title: Parametric Contrastive Learning
Title（参考訳）: パラメトリックコントラスト学習
Authors: Jiequan Cui, Zhisheng Zhong, Shu Liu, Bei Yu, Jiaya Jia
Abstract要約: 本研究では,長期学習のためのパラメトリックコントラスト学習(PaCo)を提案する。 PaCoは、同じクラスのクローズのサンプルをプッシュする強度を適応的に増強することができる。長い尾を持つCIFAR、ImageNet、Places、iNaturalist 2018の実験は、長い尾を持つ認識のための新しい最先端技術を示している。
参考スコア（独自算出の注目度）: 65.70554597097248
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we propose Parametric Contrastive Learning (PaCo) to tackle long-tailed recognition. Based on theoretical analysis, we observe supervised contrastive loss tends to bias on high-frequency classes and thus increases the difficulty of imbalance learning. We introduce a set of parametric class-wise learnable centers to rebalance from an optimization perspective. Further, we analyze our PaCo loss under a balanced setting. Our analysis demonstrates that PaCo can adaptively enhance the intensity of pushing samples of the same class close as more samples are pulled together with their corresponding centers and benefit hard example learning. Experiments on long-tailed CIFAR, ImageNet, Places, and iNaturalist 2018 manifest the new state-of-the-art for long-tailed recognition. On full ImageNet, models trained with PaCo loss surpass supervised contrastive learning across various ResNet backbones. Our code is available at \url{https://github.com/jiequancui/Parametric-Contrastive-Learning}.
Abstract（参考訳）: 本稿では,ロングテール認識に取り組むためのパラメトリックコントラスト学習(paco)を提案する。理論的解析に基づき,教師付きコントラスト損失は高周波クラスに偏り,不均衡学習の困難さを増大させる傾向が観察された。最適化の観点から再バランスを図るために、パラメトリックなクラスワイド学習可能なセンターのセットを導入する。さらに,バランスの取れた環境下でのPaCo損失を分析した。分析の結果、pacoは、より多くのサンプルと対応するセンターを組み合わせることで、同じクラスのサンプルを近くで押すことの強度を適応的に向上させ、ハードサンプル学習の恩恵を受けることが示された。ロングテールのcifar、imagenet、places、inaturalist 2018の実験では、ロングテール認識の新しい最先端が示されている。完全なImageNetでは、PaCo損失でトレーニングされたモデルが、さまざまなResNetバックボーンの教師付きコントラスト学習を上回っている。我々のコードは \url{https://github.com/jiequancui/Parametric-Contrastive-Learning} で利用可能です。

関連論文リスト

Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective [5.170794699087535]
ディープニューラルネットワークは、新しい概念を継続的に学習するとき、破滅的な忘れ込みに悩まされる。我々は、古いタスクと新しいタスクデータの不均衡が、古いタスクを忘れるのに寄与すると主張している。本稿では,一様かつコンパクトな特徴を学習するUPCL(Uniform Prototype Contrastive Learning)を提案する。
論文参考訳（メタデータ） (2024-05-24T02:26:37Z)
Tuned Contrastive Learning [77.67209954169593]
そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
論文参考訳（メタデータ） (2023-05-18T03:26:37Z)
Generalized Parametric Contrastive Learning [60.62901294843829]
一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
論文参考訳（メタデータ） (2022-09-26T03:49:28Z)
Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文参考訳（メタデータ） (2022-03-25T05:36:26Z)
Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition [120.80038161330623]
教師付きコントラスト学習は、元のバッチレベルとシームズバッチレベルの両方において、二重クラス不均衡の問題に悩まされていることを示す。コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
論文参考訳（メタデータ） (2022-03-22T07:30:38Z)
Holistic Deep Learning [3.718942345103135]
本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
論文参考訳（メタデータ） (2021-10-29T14:46:32Z)
Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。