論文の概要: SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2402.13505v2
• Date: Thu, 2 May 2024 05:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 21:41:12.205763
• Title: SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning
• Title（参考訳）: SimPro: リアルタイム型半教師付き学習を目指すシンプルな確率的フレームワーク
• Authors: Chaoqun Du, Yizeng Han, Gao Huang,
• Abstract要約: ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
• 参考スコア（独自算出の注目度）: 49.94607673097326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in semi-supervised learning have focused on a more realistic yet challenging task: addressing imbalances in labeled data while the class distribution of unlabeled data remains both unknown and potentially mismatched. Current approaches in this sphere often presuppose rigid assumptions regarding the class distribution of unlabeled data, thereby limiting the adaptability of models to only certain distribution ranges. In this study, we propose a novel approach, introducing a highly adaptable framework, designated as SimPro, which does not rely on any predefined assumptions about the distribution of unlabeled data. Our framework, grounded in a probabilistic model, innovatively refines the expectation-maximization (EM) algorithm by explicitly decoupling the modeling of conditional and marginal class distributions. This separation facilitates a closed-form solution for class distribution estimation during the maximization phase, leading to the formulation of a Bayes classifier. The Bayes classifier, in turn, enhances the quality of pseudo-labels in the expectation phase. Remarkably, the SimPro framework not only comes with theoretical guarantees but also is straightforward to implement. Moreover, we introduce two novel class distributions broadening the scope of the evaluation. Our method showcases consistent state-of-the-art performance across diverse benchmarks and data distribution scenarios. Our code is available at https://github.com/LeapLabTHU/SimPro.
• Abstract（参考訳）: 半教師付き学習の最近の進歩は、ラベル付きデータの不均衡に対処しながら、ラベル付きデータのクラス分布が未知であり、潜在的にミスマッチしているという、より現実的で難しい課題に焦点が当てられている。 この領域における現在のアプローチは、ラベルのないデータのクラス分布に関する厳密な仮定を前提としており、したがってモデルの適応性は特定の分布範囲に限られる。 本研究では,ラベルなしデータの分布に関する前提に頼らない,高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率論的モデルに基づいており、条件と限界のクラス分布のモデリングを明示的に分離することにより、期待最大化(EM)アルゴリズムを革新的に洗練する。 この分離は、最大化フェーズにおけるクラス分布推定のための閉形式解を容易にし、ベイズ分類器の定式化につながる。 ベイズ分類器は、予想フェーズにおける擬ラベルの品質を高める。 注目すべきなのは、SimProフレームワークには理論的保証だけでなく、実装も簡単であることだ。 さらに,評価の範囲を広げる2つの新しいクラス分布を導入する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。 私たちのコードはhttps://github.com/LeapLabTHU/SimProで利用可能です。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Learning from Positive and Unlabeled Data with Augmented Classes [17.97372291914351]
  Augmented Classes (PUAC) を用いたPU学習のための非バイアスリスク推定器を提案する。 提案手法は,最適解への収束を理論的に保証する推定誤差を導出する。
  論文  参考訳（メタデータ） (2022-07-27T03:40:50Z)
• Realistic Evaluation of Transductive Few-Shot Learning [41.06192162435249]
  トランスダクティブ推論は、数ショットの学習で広く使われている。 推論における少数ショットタスクの問合せセット内における任意のクラス分布の効果について検討する。 我々は,3つの広く使用されているデータセットに対して,最先端のトランスダクティブ手法を実験的に評価した。
  論文  参考訳（メタデータ） (2022-04-24T03:35:06Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• A Distributionally Robust Approach to Fair Classification [17.759493152879013]
  本研究では、性別や民族などのセンシティブな属性に対する差別を防止する不公平なペナルティを持つロジスティックなロジスティック回帰モデルを提案する。 このモデルは、トレーニングデータ上の経験的分布を中心とするワッサーシュタイン球が分布の不確かさのモデル化に使用される場合、トラクタブル凸最適化問題と等価である。 得られた分類器は, 合成データセットと実データセットの両方において, 予測精度の限界損失による公平性の向上を実証する。
  論文  参考訳（メタデータ） (2020-07-18T22:34:48Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。