論文の概要: Accessible, Realistic, and Fair Evaluation of Positive-Unlabeled Learning Algorithms

• arxiv url: http://arxiv.org/abs/2509.24228v1
• Date: Mon, 29 Sep 2025 03:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.715682
• Title: Accessible, Realistic, and Fair Evaluation of Positive-Unlabeled Learning Algorithms
• Title（参考訳）: ポジティブ・アンラベル学習アルゴリズムのアクセシブル・リアル・フェア評価
• Authors: Wei Wang, Dong-Dong Wu, Ming Li, Jingxiong Zhang, Gang Niu, Masashi Sugiyama,
• Abstract要約: 本稿では,PU学習アルゴリズムを体系的に比較する最初のPU学習ベンチマークを提案する。 PU学習アルゴリズムの現実的かつ公正な評価に影響を及ぼす微妙で重要な要因を同定する。
• 参考スコア（独自算出の注目度）: 54.58593451541316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Positive-unlabeled (PU) learning is a weakly supervised binary classification problem, in which the goal is to learn a binary classifier from only positive and unlabeled data, without access to negative data. In recent years, many PU learning algorithms have been developed to improve model performance. However, experimental settings are highly inconsistent, making it difficult to identify which algorithm performs better. In this paper, we propose the first PU learning benchmark to systematically compare PU learning algorithms. During our implementation, we identify subtle yet critical factors that affect the realistic and fair evaluation of PU learning algorithms. On the one hand, many PU learning algorithms rely on a validation set that includes negative data for model selection. This is unrealistic in traditional PU learning settings, where no negative data are available. To handle this problem, we systematically investigate model selection criteria for PU learning. On the other hand, the problem settings and solutions of PU learning have different families, i.e., the one-sample and two-sample settings. However, existing evaluation protocols are heavily biased towards the one-sample setting and neglect the significant difference between them. We identify the internal label shift problem of unlabeled training data for the one-sample setting and propose a simple yet effective calibration approach to ensure fair comparisons within and across families. We hope our framework will provide an accessible, realistic, and fair environment for evaluating PU learning algorithms in the future.
• Abstract（参考訳）: PU学習(Positive-unlabeled learning)は、負のデータにアクセスすることなく、正および未ラベルのデータのみからバイナリ分類器を学習することを目的とする、弱教師付きバイナリ分類問題である。 近年,モデル性能向上のために多くのPU学習アルゴリズムが開発されている。 しかし、実験的な設定は非常に不整合であり、どのアルゴリズムが優れているかを特定することは困難である。 本稿では,PU学習アルゴリズムを体系的に比較する最初のPU学習ベンチマークを提案する。 実装中、PU学習アルゴリズムの現実的かつ公正な評価に影響を与える微妙で重要な要素を識別する。 一方、多くのPU学習アルゴリズムは、モデル選択のための負のデータを含む検証セットに依存している。 これは、負のデータがない従来のPU学習設定では非現実的です。 そこで本研究では,PU学習におけるモデル選択基準を体系的に検討する。 一方、PU学習の課題設定と解決策は、一サンプルと二サンプルという異なるファミリーを持つ。 しかし、既存の評価プロトコルは1サンプル設定に大きく偏り、それらの大きな違いを無視している。 本研究では,1サンプル設定のためのラベル付きトレーニングデータのラベル変更問題を特定し,家族間の公正な比較を確保するための簡易かつ効果的な校正手法を提案する。 私たちのフレームワークは、PU学習アルゴリズムを将来評価するための、アクセス可能で、現実的で、公正な環境を提供することを期待しています。

関連論文リスト

• Realistic Evaluation of Deep Partial-Label Learning Algorithms [94.79036193414058]
  部分ラベル学習(Partial-label Learning, PLL)は、各サンプルが複数の候補ラベルに関連付けられている弱い教師付き学習問題である。 近年,モデル性能向上のために多くのディープアルゴリズムが開発されている。 初期のアルゴリズムは、しばしば過小評価され、複雑な設計で多くの後のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2025-02-14T14:22:16Z)
• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Meta-learning for Positive-unlabeled Classification [40.11462237689747]
  提案手法は,モデルがPUデータに適用された後のテスト分類リスクを最小限に抑える。 この方法は各インスタンスをニューラルネットワークを使ってタスク固有の空間に埋め込む。 提案手法は1つの実世界のデータセットと3つの実世界のデータセットで既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-06T01:50:01Z)
• Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data [28.74519165747641]
  本稿では,少数のラベル付き正のセットと大きなラベル付きプールのみを利用できる,正のラベル付き学習(PU)の課題について検討する。 比較対象を減少させる非バイアスで分散した正の非ラベル型コントラスト学習(puCL)を導入する。 本稿では, 未ラベルのサンプルをソフトな正の混合物として再重み付けする, 事前認識型拡張である Positive Unlabeled InfoNCE (puNCE) を提案する。
  論文  参考訳（メタデータ） (2024-02-08T20:20:54Z)
• Positive Unlabeled Learning Selected Not At Random (PULSNAR): class proportion estimation when the SCAR assumption does not hold [2.76815720120527]
  PU学習(Positive and Unlabeled learning)は、半教師付きバイナリ分類の一種である。 PU学習は、確認された負が利用できない、あるいは入手が難しい設定において幅広い応用がある。 2つのPU学習アルゴリズムを提案し、$alpha$を推定し、PUインスタンスの確率を計算し、分類基準を改善する。
  論文  参考訳（メタデータ） (2023-03-14T23:16:22Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。