論文の概要: Realistic Evaluation of Deep Partial-Label Learning Algorithms

• arxiv url: http://arxiv.org/abs/2502.10184v1
• Date: Fri, 14 Feb 2025 14:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:58.858467
• Title: Realistic Evaluation of Deep Partial-Label Learning Algorithms
• Title（参考訳）: 深部部分ラベル学習アルゴリズムの現実的評価
• Authors: Wei Wang, Dong-Dong Wu, Jindong Wang, Gang Niu, Min-Ling Zhang, Masashi Sugiyama,
• Abstract要約: 部分ラベル学習(Partial-label Learning, PLL)は、各サンプルが複数の候補ラベルに関連付けられている弱い教師付き学習問題である。 近年,モデル性能向上のために多くのディープアルゴリズムが開発されている。 初期のアルゴリズムは、しばしば過小評価され、複雑な設計で多くの後のアルゴリズムより優れている。
• 参考スコア（独自算出の注目度）: 94.79036193414058
• License:
• Abstract: Partial-label learning (PLL) is a weakly supervised learning problem in which each example is associated with multiple candidate labels and only one is the true label. In recent years, many deep PLL algorithms have been developed to improve model performance. However, we find that some early developed algorithms are often underestimated and can outperform many later algorithms with complicated designs. In this paper, we delve into the empirical perspective of PLL and identify several critical but previously overlooked issues. First, model selection for PLL is non-trivial, but has never been systematically studied. Second, the experimental settings are highly inconsistent, making it difficult to evaluate the effectiveness of the algorithms. Third, there is a lack of real-world image datasets that can be compatible with modern network architectures. Based on these findings, we propose PLENCH, the first Partial-Label learning bENCHmark to systematically compare state-of-the-art deep PLL algorithms. We investigate the model selection problem for PLL for the first time, and propose novel model selection criteria with theoretical guarantees. We also create Partial-Label CIFAR-10 (PLCIFAR10), an image dataset of human-annotated partial labels collected from Amazon Mechanical Turk, to provide a testbed for evaluating the performance of PLL algorithms in more realistic scenarios. Researchers can quickly and conveniently perform a comprehensive and fair evaluation and verify the effectiveness of newly developed algorithms based on PLENCH. We hope that PLENCH will facilitate standardized, fair, and practical evaluation of PLL algorithms in the future.
• Abstract（参考訳）: 部分ラベル学習(Partial-label Learning, PLL)は、各サンプルが複数の候補ラベルに関連付けられている弱い教師付き学習問題である。 近年,モデル性能向上のために多くの深部PLLアルゴリズムが開発されている。 しかし、初期のアルゴリズムは、しばしば過小評価され、複雑な設計で多くの後のアルゴリズムより優れていることが判明した。 本稿では、PLLの実証的な視点を掘り下げ、批判的だがこれまで見過ごされてきたいくつかの問題を特定する。 第一に、PLLのモデル選択は非自明であるが、体系的に研究されることはなかった。 第2に、実験的な設定は非常に一貫性がなく、アルゴリズムの有効性を評価するのが困難である。 第三に、現代のネットワークアーキテクチャと互換性のある実世界のイメージデータセットが不足しています。 これらの知見に基づいて,最先端の深層PLLアルゴリズムを体系的に比較する最初の部分ラベル学習bENCHmarkであるPLENCHを提案する。 PLLのモデル選択問題を初めて検討し,理論的保証を伴う新しいモデル選択基準を提案する。 また、アマゾン・メカニカル・トルククから収集された人名付き部分ラベルの画像データセットであるPartial-Label CIFAR-10(PLCIFAR10)を作成し、より現実的なシナリオでPLLアルゴリズムの性能を評価するためのテストベッドを提供する。 研究者は、包括的で公正な評価を迅速かつ便利に行い、PLENCHに基づいて新しく開発されたアルゴリズムの有効性を検証することができる。 PLENCHが将来,PLLアルゴリズムの標準化,公正,実践的な評価を促進することを願っている。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• CLImage: Human-Annotated Datasets for Complementary-Label Learning [8.335164415521838]
  我々は,人間のアノテーションから補完ラベルを収集するプロトコルを開発した。 これらのデータセットは、最初の現実世界のCLLデータセットを表している。 我々は,人間の注釈付き補完ラベルの偏りと,補完ラベルのみによる検証の難しさが,実用的CLLの障壁となることを発見した。
  論文  参考訳（メタデータ） (2023-05-15T01:48:53Z)
• ARNet: Automatic Refinement Network for Noisy Partial Label Learning [41.577081851679765]
  本稿では,ARNet(Automatic Refinement Network)と呼ばれる新しいフレームワークを提案する。 本手法は,複数ラウンドからなる。各ラウンドにおいて,ノイズ検出とラベル補正という2つの重要なモジュールを通じてノイズサンプルを浄化する。 提案手法がデータセットの雑音レベルを低減し,最終的にベイズを最適に近似できることを示す。
  論文  参考訳（メタデータ） (2022-11-09T10:01:25Z)
• Few-Shot Partial-Label Learning [25.609766770479265]
  部分ラベル学習(Partial-label Learning, PLL)は、一般的に、過度に注釈付けされたサンプルをトレーニングすることで、耐雑音性のあるマルチクラスを誘導することに焦点を当てている。 既存の数発の学習アルゴリズムはサポートセットの正確なラベルを仮定する。 本稿では,FsPLL (Few-shot Image Learning) というアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-02T07:03:54Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Provably Consistent Partial-Label Learning [120.4734093544867]
  部分ラベル学習 (Partial-label Learning, PLL) は多クラス分類問題である。 本稿では,候補ラベル集合の第1世代モデルを提案し,一貫性が保証される2つの新しい手法を開発する。 ベンチマークおよび実世界のデータセットの実験は、提案した生成モデルの有効性と2つの方法の有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-17T12:19:16Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。