論文の概要: An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels

• arxiv url: http://arxiv.org/abs/2010.01653v1
• Date: Sun, 4 Oct 2020 18:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 03:51:20.133139
• Title: An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels
• Title（参考訳）: 少数・ゼロショットラベルを含む大規模多ラベルテキスト分類に関する実証的研究
• Authors: Ilias Chalkidis, Manos Fergadiotis, Sotiris Kotitsas, Prodromos Malakasiotis, Nikolaos Aletras and Ion Androutsopoulos
• Abstract要約: 大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
• 参考スコア（独自算出の注目度）: 49.036212158261215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale Multi-label Text Classification (LMTC) has a wide range of Natural Language Processing (NLP) applications and presents interesting challenges. First, not all labels are well represented in the training set, due to the very large label set and the skewed label distributions of LMTC datasets. Also, label hierarchies and differences in human labelling guidelines may affect graph-aware annotation proximity. Finally, the label hierarchies are periodically updated, requiring LMTC models capable of zero-shot generalization. Current state-of-the-art LMTC models employ Label-Wise Attention Networks (LWANs), which (1) typically treat LMTC as flat multi-label classification; (2) may use the label hierarchy to improve zero-shot learning, although this practice is vastly understudied; and (3) have not been combined with pre-trained Transformers (e.g. BERT), which have led to state-of-the-art results in several NLP benchmarks. Here, for the first time, we empirically evaluate a battery of LMTC methods from vanilla LWANs to hierarchical classification approaches and transfer learning, on frequent, few, and zero-shot learning on three datasets from different domains. We show that hierarchical methods based on Probabilistic Label Trees (PLTs) outperform LWANs. Furthermore, we show that Transformer-based approaches outperform the state-of-the-art in two of the datasets, and we propose a new state-of-the-art method which combines BERT with LWANs. Finally, we propose new models that leverage the label hierarchy to improve few and zero-shot learning, considering on each dataset a graph-aware annotation proximity measure that we introduce.
• Abstract（参考訳）: 大規模多ラベルテキスト分類(LMTC)は、幅広い自然言語処理(NLP)アプリケーションを持ち、興味深い課題を提示している。 まず、非常に大きなラベルセットとLMTCデータセットの歪んだラベル分布のため、すべてのラベルがトレーニングセットでよく表現されているわけではない。 また、ラベル階層と人間のラベル付けガイドラインの違いは、グラフ認識アノテーションの近接に影響を及ぼす可能性がある。 最後にラベル階層は定期的に更新され、ゼロショット一般化が可能なlmtcモデルが必要となる。 現在のLMTCモデルはラベル・ワイズ・アテンション・ネットワーク(LWAN)を採用しており、(1)LMTCを平らなマルチラベル分類として扱う; (2) ゼロショット学習を改善するためにラベル階層を使用することができるが、このプラクティスは極めて過小評価されている; (3) 事前訓練された変換器(BERTなど)と組み合わせられていない。 ここでは,バニラLWANから階層分類アプローチ,移動学習までのLMTC手法のバッテリを,各ドメインの3つのデータセットに対して,頻繁,少ない,ゼロショット学習で実証的に評価した。 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 さらに,Transformerベースのアプローチは,2つのデータセットにおいて最先端の手法よりも優れており,BERTとLWANを組み合わせた新しい最先端手法を提案する。 最後に,ラベル階層を活用し,各データセットに導入したグラフ対応アノテーション近接尺度を考慮し,数点およびゼロショット学習を改善する新しいモデルを提案する。

関連論文リスト

• LC-Protonets: Multi-label Few-shot learning for world music audio tagging [65.72891334156706]
  ラベル結合型プロトタイプネットワーク(LC-Protonets)を導入し,複数ラベルの複数ショット分類の問題に対処する。 LC-Protonetsは、限られたトレーニング項目に存在するラベルのパワーセットから、ラベルの組み合わせごとに1つのプロトタイプを生成する。 本手法は,様々な文化をカバーし,現代音楽と伝統音楽の両方を含む,多様な音楽データセットにまたがる自動音声タグ付けに適用する。
  論文  参考訳（メタデータ） (2024-09-17T15:13:07Z)
• UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
  Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
  論文  参考訳（メタデータ） (2024-05-04T17:27:51Z)
• Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification [19.592985329023733]
  MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。 本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。 提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
  論文  参考訳（メタデータ） (2023-09-24T04:12:52Z)
• Deep Partial Multi-Label Learning with Graph Disambiguation [27.908565535292723]
  grAph-disambIguatioN (PLAIN) を用いた新しいディープ部分多重ラベルモデルを提案する。 具体的には、ラベルの信頼性を回復するために、インスタンスレベルとラベルレベルの類似性を導入する。 各トレーニングエポックでは、ラベルがインスタンスとラベルグラフに伝播し、比較的正確な擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2023-05-10T04:02:08Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Binary Classification with Positive Labeling Sources [71.37692084951355]
  WEAPOは、負のラベル付け源を使わずにトレーニングラベルを作成するための、シンプルで競争力のあるWS手法である。 We show WEAPO achieve the highest averaged performance on 10 benchmark datasets。
  論文  参考訳（メタデータ） (2022-08-02T19:32:08Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Multi-label Few/Zero-shot Learning with Knowledge Aggregated from Multiple Label Graphs [8.44680447457879]
  本稿では,異なる意味的ラベル関係をコードする複数のラベルグラフから知識を融合する,シンプルな多グラフ集約モデルを提案する。 本研究は,多グラフ知識集約を用いた手法が,少数・ゼロショットラベルのほとんどすべてにおいて,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-15T01:15:43Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)
• Generalized Label Enhancement with Sample Correlations [24.582764493585362]
  サンプル相関付きラベル拡張(LESC)と、サンプル相関付きラベル拡張(gLESC)の2つの新しいラベル拡張手法を提案する。 サンプル相関から,提案手法はラベル強化性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-07T03:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。