論文の概要: SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2402.13505v1
- Date: Wed, 21 Feb 2024 03:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:07:08.875759
- Title: SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed
Semi-Supervised Learning
- Title（参考訳）: SimPro: 現実的な長期学習を目指すシンプルな確率的フレームワーク
- Authors: Chaoqun Du, Yizeng Han, Gao Huang
- Abstract要約: ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。
我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。
本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
- 参考スコア（独自算出の注目度）: 56.13438490600715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in semi-supervised learning have focused on a more
realistic yet challenging task: addressing imbalances in labeled data while the
class distribution of unlabeled data remains both unknown and potentially
mismatched. Current approaches in this sphere often presuppose rigid
assumptions regarding the class distribution of unlabeled data, thereby
limiting the adaptability of models to only certain distribution ranges. In
this study, we propose a novel approach, introducing a highly adaptable
framework, designated as SimPro, which does not rely on any predefined
assumptions about the distribution of unlabeled data. Our framework, grounded
in a probabilistic model, innovatively refines the expectation-maximization
(EM) algorithm by explicitly decoupling the modeling of conditional and
marginal class distributions. This separation facilitates a closed-form
solution for class distribution estimation during the maximization phase,
leading to the formulation of a Bayes classifier. The Bayes classifier, in
turn, enhances the quality of pseudo-labels in the expectation phase.
Remarkably, the SimPro framework not only comes with theoretical guarantees but
also is straightforward to implement. Moreover, we introduce two novel class
distributions broadening the scope of the evaluation. Our method showcases
consistent state-of-the-art performance across diverse benchmarks and data
distribution scenarios. Our code is available at
https://github.com/LeapLabTHU/SimPro.
- Abstract（参考訳）: 半教師付き学習の最近の進歩は、ラベル付きデータの不均衡に対処するという、より現実的で困難なタスクに焦点を当てている。
この領域における現在のアプローチは、ラベルのないデータのクラス分布に関する厳密な仮定を前提としており、したがってモデルの適応性は特定の分布範囲に限られる。
本研究では,ラベルなしデータの分布に関する既定の仮定に依存しない,高度に適応可能なフレームワークであるsimproを提案する。
確率モデルに基礎を置き,条件付きクラス分布と限界クラス分布のモデル化を明示的に分離することにより,期待最大化(em)アルゴリズムを革新的に洗練する。
この分離は、最大化フェーズにおけるクラス分布推定のための閉形式解を促進させ、ベイズ分類器の定式化に繋がる。
ベイズ分類器は、期待相における擬似ラベルの品質を高める。
驚くべきことに、simproフレームワークは理論的保証だけでなく、実装も容易である。
さらに,評価の範囲を広げる2つの新しいクラス分布を導入する。
本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
私たちのコードはhttps://github.com/LeapLabTHU/SimProで利用可能です。
関連論文リスト
- Which distribution were you sampled from? Towards a more tangible conception of data [7.09435109588801]
機械学習の標準フレームワークは必ずしも良いモデルではない、と私たちは主張する。
抽象分布よりも有限集団に着目した代替フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-24T16:17:14Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
補完ラベル学習は、弱教師付き学習問題である。
均一分布仮定に依存しない一貫したアプローチを提案する。
相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
論文 参考訳（メタデータ） (2023-11-27T02:59:17Z) - Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk
Minimization Framework [12.734559823650887]
分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。
既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。
本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-20T23:25:28Z) - Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳（メタデータ） (2023-07-19T10:27:34Z) - Learning from Positive and Unlabeled Data with Augmented Classes [17.97372291914351]
Augmented Classes (PUAC) を用いたPU学習のための非バイアスリスク推定器を提案する。
提案手法は,最適解への収束を理論的に保証する推定誤差を導出する。
論文 参考訳（メタデータ） (2022-07-27T03:40:50Z) - Realistic Evaluation of Transductive Few-Shot Learning [41.06192162435249]
トランスダクティブ推論は、数ショットの学習で広く使われている。
推論における少数ショットタスクの問合せセット内における任意のクラス分布の効果について検討する。
我々は,3つの広く使用されているデータセットに対して,最先端のトランスダクティブ手法を実験的に評価した。
論文 参考訳（メタデータ） (2022-04-24T03:35:06Z) - Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。
提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
論文 参考訳（メタデータ） (2021-02-04T03:59:37Z) - A Distributionally Robust Approach to Fair Classification [17.759493152879013]
本研究では、性別や民族などのセンシティブな属性に対する差別を防止する不公平なペナルティを持つロジスティックなロジスティック回帰モデルを提案する。
このモデルは、トレーニングデータ上の経験的分布を中心とするワッサーシュタイン球が分布の不確かさのモデル化に使用される場合、トラクタブル凸最適化問題と等価である。
得られた分類器は, 合成データセットと実データセットの両方において, 予測精度の限界損失による公平性の向上を実証する。
論文 参考訳（メタデータ） (2020-07-18T22:34:48Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。