論文の概要: Generalized Parametric Contrastive Learning

• arxiv url: http://arxiv.org/abs/2209.12400v1
• Date: Mon, 26 Sep 2022 03:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:22:34.080302
• Title: Generalized Parametric Contrastive Learning
• Title（参考訳）: 一般化パラメトリックコントラスト学習
• Authors: Jiequan Cui, Zhisheng Zhong, Zhuotao Tian, Shu Liu, Bei Yu, Jiaya Jia
• Abstract要約: 一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。 長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
• 参考スコア（独自算出の注目度）: 60.62901294843829
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose the Generalized Parametric Contrastive Learning (GPaCo/PaCo) which works well on both imbalanced and balanced data. Based on theoretical analysis, we observe that supervised contrastive loss tends to bias high-frequency classes and thus increases the difficulty of imbalanced learning. We introduce a set of parametric class-wise learnable centers to rebalance from an optimization perspective. Further, we analyze our GPaCo/PaCo loss under a balanced setting. Our analysis demonstrates that GPaCo/PaCo can adaptively enhance the intensity of pushing samples of the same class close as more samples are pulled together with their corresponding centers and benefit hard example learning. Experiments on long-tailed benchmarks manifest the new state-of-the-art for long-tailed recognition. On full ImageNet, models from CNNs to vision transformers trained with GPaCo loss show better generalization performance and stronger robustness compared with MAE models. Moreover, GPaCo can be applied to the semantic segmentation task and obvious improvements are observed on the 4 most popular benchmarks. Our code is available at https://github.com/dvlab-research/Parametric-Contrastive-Learning.
• Abstract（参考訳）: 本稿では,不均衡なデータとバランスの取れたデータの両方でよく機能するGPaCo/PaCo(Generalized Parametric Contrastive Learning)を提案する。 理論的解析に基づき,教師付きコントラスト損失は高周波クラスをバイアスし,不均衡学習の難易度を増加させる傾向が観察された。 最適化の観点から再バランスを図るために、パラメトリックなクラスワイド学習可能なセンターのセットを導入する。 さらに, 平衡条件下でのGPaCo/PaCo損失の解析を行った。 分析の結果、GPaCo/PaCoは、より多くのサンプルが対応する中心と引き合わされるにつれて、同じクラスのサンプルをプッシュする強度を適応的に増強し、ハードサンプル学習に役立てることができることが示された。 長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。 フルイメージネットでは、gpaco損失で訓練されたcnnから視覚トランスフォーマーまでのモデルは、maeモデルと比較して、より一般化された性能と強い堅牢性を示す。 さらに、GPaCoはセマンティックセグメンテーションタスクに適用でき、最も人気のある4つのベンチマークで明らかな改善が観察される。 私たちのコードはhttps://github.com/dvlab-research/parametric-contrastive-learningで利用可能です。

関連論文リスト

• PACE: marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 PACEは、拡張一般化のための勾配を暗黙的に正規化するだけでなく、微調整および事前訓練されたモデルも暗黙的に整列して知識を保持することを示す。 PACEは、VTAB-1k、FGVC、少数ショット学習、ドメイン適応の4つの視覚適応タスクにおいて、既存のPEFTメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Asymmetric Momentum: A Rethinking of Gradient Descent [4.1001738811512345]
  LCAM(Los-Controlled Asymmetric Momentum)の最も単純なSGD拡張手法を提案する。 損失を平均化することにより、トレーニングプロセスを異なる損失フェーズに分割し、異なる運動量を使用する。 重みが方向特異性を持つことを実験的に検証し、データセットの特異性と相関する。
  論文  参考訳（メタデータ） (2023-09-05T11:16:47Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation [18.47581580698701]
  ネットワークの深いアンサンブルの予測を平均化することは、予測性能と校正を改善するための一般的かつ効果的な方法である。 単純な重み融合(WF)ストラテジーは予測性能と校正を著しく向上させる可能性があることを示す。
  論文  参考訳（メタデータ） (2022-07-22T17:24:13Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Parametric Contrastive Learning [65.70554597097248]
  本研究では,長期学習のためのパラメトリックコントラスト学習(PaCo)を提案する。 PaCoは、同じクラスのクローズのサンプルをプッシュする強度を適応的に増強することができる。 長い尾を持つCIFAR、ImageNet、Places、iNaturalist 2018の実験は、長い尾を持つ認識のための新しい最先端技術を示している。
  論文  参考訳（メタデータ） (2021-07-26T08:37:23Z)
• Fed-Focal Loss for imbalanced data classification in Federated Learning [2.2172881631608456]
  Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。 課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。 焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
  論文  参考訳（メタデータ） (2020-11-12T09:52:14Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。