論文の概要: From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning

• arxiv url: http://arxiv.org/abs/2408.08981v2
• Date: Thu, 22 Aug 2024 17:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 12:42:26.328637
• Title: From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning
• Title（参考訳）: Lazy から Prolific へ:正の非ラベルシーケンス学習による開語彙エクストリーム分類における欠落ラベルのタックリング
• Authors: Ranran Haoran Zhang, Bensu Uçar, Soumik Dey, Hansi Wu, Binbin Li, Rui Zhang,
• Abstract要約: Open-vocabulary Extreme Multi-label Classification (OXMC)は、従来のXMCを拡張し、ラベルセットが103ドルから1012ドルを超える予測を可能にする。 データアノテーションにおける自己選択バイアスは、トレーニングデータとテストデータの両方に重大な欠陥ラベルをもたらす。 本稿では OXMC をキーフレーズ生成タスクとして再構成する PUSL (Positive-Unlabeled Sequence Learning) を提案する。
• 参考スコア（独自算出の注目度）: 5.979699034554517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary Extreme Multi-label Classification (OXMC) extends traditional XMC by allowing prediction beyond an extremely large, predefined label set (typically $10^3$ to $10^{12}$ labels), addressing the dynamic nature of real-world labeling tasks. However, self-selection bias in data annotation leads to significant missing labels in both training and test data, particularly for less popular inputs. This creates two critical challenges: generation models learn to be "lazy'" by under-generating labels, and evaluation becomes unreliable due to insufficient annotation in the test set. In this work, we introduce Positive-Unlabeled Sequence Learning (PUSL), which reframes OXMC as an infinite keyphrase generation task, addressing the generation model's laziness. Additionally, we propose to adopt a suite of evaluation metrics, F1@$\mathcal{O}$ and newly proposed B@$k$, to reliably assess OXMC models with incomplete ground truths. In a highly imbalanced e-commerce dataset with substantial missing labels, PUSL generates 30% more unique labels, and 72% of its predictions align with actual user queries. On the less skewed EURLex-4.3k dataset, PUSL demonstrates superior F1 scores, especially as label counts increase from 15 to 30. Our approach effectively tackles both the modeling and evaluation challenges in OXMC with missing labels.
• Abstract（参考訳）: Open-vocabulary Extreme Multi-label Classification (OXMC)は、非常に大きく定義されたラベルセット(典型的には10^3$から10^{12}$ラベル)を超える予測を可能にし、現実世界のラベリングタスクの動的な性質に対処することで、従来のXMCを拡張している。 しかし、データアノテーションにおける自己選択バイアスは、トレーニングデータとテストデータの両方において、特にあまり人気のないインプットにおいて、大きな欠落を生んでいる。 これは2つの重要な課題を生み出します: 生成モデルはラベルを過大に生成することで"怠慢"になることを学び、テストセットのアノテーションが不十分なため、評価は信頼できないものになります。 本稿では,OXMCをキーフレーズ生成タスクとして再編成し,生成モデルの怠慢に対処するPUSL(Positive-Unlabeled Sequence Learning)を提案する。 さらに,F1@$\mathcal{O}$と新たに提案されたB@$k$という一連の評価指標を用いて,不完全な基底真理を持つOXMCモデルを確実に評価することを提案する。 かなり不均衡なラベルを持つEコマースデータセットでは、PUSLは30%以上のユニークなラベルを生成し、予測の72%は実際のユーザクエリと一致している。 より歪んだEURLex-4.3kデータセットでは、特にラベル数が15から30に増加するにつれて、PUSLは優れたF1スコアを示す。 提案手法はOXMCにおけるモデリングと評価の両課題に,ラベルの欠如を効果的に対処するものである。

関連論文リスト

• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Open Vocabulary Extreme Classification Using Generative Models [24.17018785195843]
  極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 提案手法の有効性を実証し,GROOVが与えられた語彙の外で有意なラベルを予測できるようなXMCデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-05-12T00:33:49Z)
• Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
  CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。 CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
  論文  参考訳（メタデータ） (2021-12-17T18:59:41Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification [27.80266694835677]
  Extreme Multi-label text Classification (XMC) は、大きなラベルセットから最も関連性の高いラベルを見つけるタスクである。 エンドツーエンドのトレーニングと動的負ラベルサンプリングを採用したLightXMLを提案する。 実験では、LightXMLは5つの極端なマルチラベルデータセットで最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2021-01-09T07:04:18Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。