論文の概要: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2403.06726v2
• Date: Thu, 14 Mar 2024 16:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 01:01:27.432405
• Title: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のための確率論的コントラスト学習
• Authors: Chaoqun Du, Yulin Wang, Shiji Song, Gao Huang,
• Abstract要約: 細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 78.70453964041718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tailed distributions frequently emerge in real-world data, where a large number of minority categories contain a limited number of samples. Such imbalance issue considerably impairs the performance of standard supervised learning algorithms, which are mainly designed for balanced training sets. Recent investigations have revealed that supervised contrastive learning exhibits promising potential in alleviating the data imbalance. However, the performance of supervised contrastive learning is plagued by an inherent challenge: it necessitates sufficiently large batches of training data to construct contrastive pairs that cover all categories, yet this requirement is difficult to meet in the context of class-imbalanced data. To overcome this obstacle, we propose a novel probabilistic contrastive (ProCo) learning algorithm that estimates the data distribution of the samples from each class in the feature space, and samples contrastive pairs accordingly. In fact, estimating the distributions of all classes using features in a small batch, particularly for imbalanced data, is not feasible. Our key idea is to introduce a reasonable and simple assumption that the normalized features in contrastive learning follow a mixture of von Mises-Fisher (vMF) distributions on unit space, which brings two-fold benefits. First, the distribution parameters can be estimated using only the first sample moment, which can be efficiently computed in an online manner across different batches. Second, based on the estimated distribution, the vMF distribution allows us to sample an infinite number of contrastive pairs and derive a closed form of the expected contrastive loss for efficient optimization. Our code is available at https://github.com/LeapLabTHU/ProCo.
• Abstract（参考訳）: 長い尾の分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 このような不均衡問題は、主にバランスの取れたトレーニングセット用に設計された標準教師付き学習アルゴリズムの性能を著しく損なう。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 しかし、教師付きコントラスト学習のパフォーマンスは、すべてのカテゴリをカバーするコントラストペアを構築するのに十分な大量のトレーニングデータを必要とするという、固有の課題に悩まされている。 この障害を克服するために,特徴空間の各クラスからのサンプルデータ分布を推定する確率的コントラスト学習アルゴリズム(ProCo)を提案し,それに応じてコントラストペアをサンプリングする。 実際、特に不均衡なデータのために、小さなバッチで機能を使ってすべてのクラスの分布を推定することは不可能です。 我々のキーとなる考え方は、対照的な学習における正規化された特徴が単位空間上のvon Mises-Fisher(vMF)分布の混合に従うという合理的で単純な仮定を導入することである。 まず、分布パラメータを第1サンプルモーメントのみを用いて推定し、異なるバッチ間でオンライン的に効率的に計算することができる。 第二に、推定分布に基づいて、vMF分布は無限個のコントラスト対をサンプリングし、予測されるコントラスト損失の閉形式を導出し、効率的な最適化を行う。 私たちのコードはhttps://github.com/LeapLabTHU/ProCoで利用可能です。

関連論文リスト

• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
  非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。 本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
  論文  参考訳（メタデータ） (2022-10-26T03:19:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。