論文の概要: Label Mask for Multi-Label Text Classification

• arxiv url: http://arxiv.org/abs/2106.10076v1
• Date: Fri, 18 Jun 2021 11:54:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 20:53:07.537744
• Title: Label Mask for Multi-Label Text Classification
• Title（参考訳）: マルチラベルテキスト分類用ラベルマスク
• Authors: Rui Song, Xingbing Chen, Zelong Liu, Haining An, Zhiqi Zhang, Xiaoguang Wang, Hao Xu
• Abstract要約: 本稿では,言語モデルのクローズ問題に着想を得た多言語テキスト分類モデル (LM-MTC) を提案する。 そこで,各潜在的なラベルに対して異なるトークンを割り当て,ある確率でランダムにトークンをマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。
• 参考スコア（独自算出の注目度）: 6.742627397194543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the key problems in multi-label text classification is how to take advantage of the correlation among labels. However, it is very challenging to directly model the correlations among labels in a complex and unknown label space. In this paper, we propose a Label Mask multi-label text classification model (LM-MTC), which is inspired by the idea of cloze questions of language model. LM-MTC is able to capture implicit relationships among labels through the powerful ability of pre-train language models. On the basis, we assign a different token to each potential label, and randomly mask the token with a certain probability to build a label based Masked Language Model (MLM). We train the MTC and MLM together, further improving the generalization ability of the model. A large number of experiments on multiple datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: マルチラベルテキスト分類の重要な問題の一つは、ラベル間の相関を利用した方法である。 しかし、複雑で未知のラベル空間におけるラベル間の相関を直接モデル化することは非常に困難である。 本稿では,言語モデルのクローズ問題から着想を得たラベルマスクマルチラベルテキスト分類モデル(lm-mtc)を提案する。 LM-MTCは、事前訓練言語モデルの強力な能力によってラベル間の暗黙の関係を捉えることができる。 そこで我々は,各潜在的なラベルに異なるトークンを割り当て,そのトークンを特定の確率でランダムにマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。 MTCとMLMを共に訓練し、モデルの一般化能力をさらに向上する。 複数のデータセットで多数の実験を行い,本手法の有効性を実証した。

関連論文リスト

• Deep Partial Multi-Label Learning with Graph Disambiguation [27.908565535292723]
  grAph-disambIguatioN (PLAIN) を用いた新しいディープ部分多重ラベルモデルを提案する。 具体的には、ラベルの信頼性を回復するために、インスタンスレベルとラベルレベルの類似性を導入する。 各トレーニングエポックでは、ラベルがインスタンスとラベルグラフに伝播し、比較的正確な擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2023-05-10T04:02:08Z)
• Complementary to Multiple Labels: A Correlation-Aware Correction Approach [65.59584909436259]
  理論上, マルチクラスCLLにおける遷移行列が, 複数ラベルの場合どのように歪むかを示す。 候補ラベルから遷移行列を推定する2段階の手法を提案する。
  論文  参考訳（メタデータ） (2023-02-25T04:48:48Z)
• Label2Label: A Language Modeling Framework for Multi-Attribute Learning [93.68058298766739]
  Label2Labelは、言語モデリングの観点からのマルチ属性予測の最初の試みである。 NLPにおける事前学習言語モデルの成功に触発されたLabel2Labelは、イメージ条件付きマスキング言語モデルを導入した。 我々の直感は、ニューラルネットワークがコンテキストと残りの属性ヒントに基づいて欠落した属性を推測できる場合、インスタンスの属性関係がよく把握されるということである。
  論文  参考訳（メタデータ） (2022-07-18T15:12:33Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference [153.354332374204]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 まず、ラベル付きデータとラベルなしデータの間に特徴アライメントの目的を導入し、類似した画像対をキャプチャする。 MITransは、ラベルなしデータのさらなるプログレッシブな精細化のための強力な知識モジュールであることが示されている。 ラベル付きデータに対する教師付き学習とともに、ラベル付きデータの予測が生成した擬似マスクとともに学習される。
  論文  参考訳（メタデータ） (2021-06-29T02:48:45Z)
• Label Confusion Learning to Enhance Text Classification Models [3.0251266104313643]
  ラベル混乱モデル(lcm)はラベル間の意味的重複を捉えるためにラベル混乱を学習する。 lcmは、元のホットラベルベクトルを置き換えるより優れたラベル分布を生成することができる。 5つのテキスト分類ベンチマークデータセットの実験により、広く使われているディープラーニング分類モデルに対するLCMの有効性が明らかにされた。
  論文  参考訳（メタデータ） (2020-12-09T11:34:35Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)
• Label-Wise Document Pre-Training for Multi-Label Text Classification [14.439051753832032]
  本稿では,ラベル認識情報を用いた文書表現を実現するLW-PT法を提案する。 基本的な考え方は、複数ラベルの文書は、複数のラベルの表現の組み合わせとして表すことができ、相関ラベルは、常に同じまたは類似の文書で共起するということである。
  論文  参考訳（メタデータ） (2020-08-15T10:34:27Z)
• Multi-Label Text Classification using Attention-based Graph Neural Network [0.0]
  ラベル間の注意的依存構造を捉えるために,グラフアテンションネットワークに基づくモデルを提案する。 提案モデルでは, 従来の最先端モデルと比較して, 類似あるいは良好な性能が得られた。
  論文  参考訳（メタデータ） (2020-03-22T17:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。