論文の概要: Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data

• arxiv url: http://arxiv.org/abs/2402.06038v2
• Date: Thu, 10 Apr 2025 10:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-19 02:35:30.5567
• Title: Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data
• Title（参考訳）: 肯定的未ラベル(PU)データによるコントラスト表現学習の理解
• Authors: Anish Acharya, Li Jing, Bhargav Bhushanam, Dhruv Choudhary, Michael Rabbat, Sujay Sanghavi, Inderjit S Dhillon,
• Abstract要約: 本稿では,少数のラベル付き正のセットと大きなラベル付きプールのみを利用できる,正のラベル付き学習(PU)の課題について検討する。 比較対象を減少させる非バイアスで分散した正の非ラベル型コントラスト学習(puCL)を導入する。 本稿では, 未ラベルのサンプルをソフトな正の混合物として再重み付けする, 事前認識型拡張である Positive Unlabeled InfoNCE (puNCE) を提案する。
• 参考スコア（独自算出の注目度）: 28.74519165747641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretext Invariant Representation Learning (PIRL) followed by Supervised Fine-Tuning (SFT) has become a standard paradigm for learning with limited labels. We extend this approach to the Positive Unlabeled (PU) setting, where only a small set of labeled positives and a large unlabeled pool -- containing both positives and negatives are available. We study this problem under two regimes: (i) without access to the class prior, and (ii) when the prior is known or can be estimated. We introduce Positive Unlabeled Contrastive Learning (puCL), an unbiased and variance reducing contrastive objective that integrates weak supervision from labeled positives judiciously into the contrastive loss. When the class prior is known, we propose Positive Unlabeled InfoNCE (puNCE), a prior-aware extension that re-weights unlabeled samples as soft positive negative mixtures. For downstream classification, we develop a pseudo-labeling algorithm that leverages the structure of the learned embedding space via PU aware clustering. Our framework is supported by theory; offering bias-variance analysis, convergence insights, and generalization guarantees via augmentation concentration; and validated empirically across standard PU benchmarks, where it consistently outperforms existing methods, particularly in low-supervision regimes.
• Abstract（参考訳）: Pretext Invariant Representation Learning (PIRL) と Supervised Fine-Tuning (SFT) は限定ラベルで学習するための標準パラダイムとなっている。 このアプローチをPositive Unlabeled (PU) 設定にまで拡張し、小さなラベル付き正のセットと大きなラベルなしプール -- 正と負の両方を含む — が利用可能になります。 我々はこの問題を2つの体制の下で研究する。 (i)事前にクラスにアクセスせずに、 (二 事前が判明し、又は推定することができるとき。) 本稿では, ラベル付き肯定からの弱い監督を軽視して, 対照的な損失を和らげる, 無バイアスかつ異質なコントラスト学習(puCL)について紹介する。 本稿では, 未ラベルのサンプルをソフトな正の混合物として再重み付けする, 事前認識型拡張である Positive Unlabeled InfoNCE (puNCE) を提案する。 下流分類のために,PU対応クラスタリングにより学習した埋め込み空間の構造を利用する擬似ラベルアルゴリズムを開発した。 我々のフレームワークは, 偏差解析, 収束インサイト, 一般化保証を拡張濃度で提供し, 標準PUベンチマークで実証的に検証し, 既存の手法, 特に低スーパービジョン方式よりも一貫して優れていた。

関連論文リスト

• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
  部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。 これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。 本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:37:28Z)
• Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction [48.929877651182885]
  正および未ラベルのデータから学ぶことは、文学における正の未ラベル(PU)学習として知られている。 本研究では,人間の学習の性質を動機とした学習戦略を取り入れた,新しい堅牢なPU学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-01T04:34:52Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Learning from Positive and Unlabeled Data with Augmented Classes [17.97372291914351]
  Augmented Classes (PUAC) を用いたPU学習のための非バイアスリスク推定器を提案する。 提案手法は,最適解への収束を理論的に保証する推定誤差を導出する。
  論文  参考訳（メタデータ） (2022-07-27T03:40:50Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• Evaluating the Predictive Performance of Positive-Unlabelled Classifiers: a brief critical review and practical recommendations for improvement [77.34726150561087]
  Positive-Unlabelled (PU) 学習は機械学習の領域として成長している。 本稿では、PU分類器を提案する51の論文において、主要なPU学習評価手法と予測精度の選択について批判的にレビューする。
  論文  参考訳（メタデータ） (2022-06-06T08:31:49Z)
• Positive Unlabeled Contrastive Learning [14.975173394072053]
  自己教師型事前学習パラダイムを古典的正の未ラベル(PU)設定に拡張する。 PU固有のクラスタリング手法を用いて,ラベルのないサンプルを擬似ラベル付けする手法を開発した。 提案手法は,いくつかの標準PUベンチマークデータセットに対して,最先端のPU手法を手作業で上回っている。
  論文  参考訳（メタデータ） (2022-06-01T20:16:32Z)
• Adaptive Positive-Unlabelled Learning via Markov Diffusion [0.0]
  Positive-Unlabelled (PU) 学習は、正のインスタンスのセットのみをラベル付けする機械学習環境である。 このアルゴリズムの主な目的は、元来問題のない正のインスタンスを含む可能性のあるインスタンスの集合を特定することである。
  論文  参考訳（メタデータ） (2021-08-13T10:25:47Z)
• Positive-Unlabeled Classification under Class-Prior Shift: A Prior-invariant Approach Based on Density Ratio Estimation [85.75352990739154]
  密度比推定に基づく新しいPU分類法を提案する。 提案手法の顕著な利点は、訓練段階においてクラスプライヤを必要としないことである。
  論文  参考訳（メタデータ） (2021-07-11T13:36:53Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)
• MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning [8.7382177147041]
  本稿では, 整合性正規化に基づく簡易かつ効果的なデータ拡張手法である coinedalgo を提案する。 アルゴインコーポレートは、拡張データを生成するために、教師付きおよび教師なしの一貫性トレーニングを行う。 我々は,CIFAR-10データセットの分類誤差を16.49から13.09まで,それぞれ異なる正のデータ量で平均的に改善したことを示す。
  論文  参考訳（メタデータ） (2020-04-20T15:43:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。