論文の概要: Label Confusion Learning to Enhance Text Classification Models

• arxiv url: http://arxiv.org/abs/2012.04987v1
• Date: Wed, 9 Dec 2020 11:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 02:16:40.674604
• Title: Label Confusion Learning to Enhance Text Classification Models
• Title（参考訳）: テキスト分類モデル強化のためのラベル混乱学習
• Authors: Biyang Guo, Songqiao Han, Xiao Han, Hailiang Huang, Ting Lu
• Abstract要約: ラベル混乱モデル(lcm)はラベル間の意味的重複を捉えるためにラベル混乱を学習する。 lcmは、元のホットラベルベクトルを置き換えるより優れたラベル分布を生成することができる。 5つのテキスト分類ベンチマークデータセットの実験により、広く使われているディープラーニング分類モデルに対するLCMの有効性が明らかにされた。
• 参考スコア（独自算出の注目度）: 3.0251266104313643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing a true label as a one-hot vector is a common practice in training text classification models. However, the one-hot representation may not adequately reflect the relation between the instances and labels, as labels are often not completely independent and instances may relate to multiple labels in practice. The inadequate one-hot representations tend to train the model to be over-confident, which may result in arbitrary prediction and model overfitting, especially for confused datasets (datasets with very similar labels) or noisy datasets (datasets with labeling errors). While training models with label smoothing (LS) can ease this problem in some degree, it still fails to capture the realistic relation among labels. In this paper, we propose a novel Label Confusion Model (LCM) as an enhancement component to current popular text classification models. LCM can learn label confusion to capture semantic overlap among labels by calculating the similarity between instances and labels during training and generate a better label distribution to replace the original one-hot label vector, thus improving the final classification performance. Extensive experiments on five text classification benchmark datasets reveal the effectiveness of LCM for several widely used deep learning classification models. Further experiments also verify that LCM is especially helpful for confused or noisy datasets and superior to the label smoothing method.
• Abstract（参考訳）: 真のラベルを1ホットベクトルとして表現することは、テキスト分類モデルのトレーニングにおいて一般的なプラクティスである。 しかし、一方のホット表現は、ラベルが完全に独立したものではなく、実際に複数のラベルに関連づけられるため、インスタンスとラベルの関係を適切に反映していない可能性がある。 特に混乱したデータセット(非常に類似したラベル付きデータセット)やノイズの多いデータセット(ラベル付きエラー付きデータセット)では、モデルに任意の予測とモデルオーバーフィットをもたらす可能性がある。 ラベル平滑化(ls)を用いたトレーニングモデルはこの問題をある程度緩和するが、ラベル間の現実的な関係を捉えられていない。 本稿では,現在普及しているテキスト分類モデルの強化要素として,新しいラベル融合モデル(LCM)を提案する。 LCMはラベルの混乱を学習し、トレーニング中にインスタンスとラベルの類似性を計算し、元の1ホットラベルベクトルを置き換えるためのより良いラベル分布を生成することにより、ラベル間のセマンティックオーバーラップを捉えることができる。 5つのテキスト分類ベンチマークデータセットの大規模な実験は、広く使われているディープラーニング分類モデルに対するLCMの有効性を明らかにする。 さらなる実験により、lcmは特に混乱または騒がしいデータセットに役立ち、ラベル平滑化法よりも優れていることが確かめられた。

関連論文リスト

• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Deep Partial Multi-Label Learning with Graph Disambiguation [27.908565535292723]
  grAph-disambIguatioN (PLAIN) を用いた新しいディープ部分多重ラベルモデルを提案する。 具体的には、ラベルの信頼性を回復するために、インスタンスレベルとラベルレベルの類似性を導入する。 各トレーニングエポックでは、ラベルがインスタンスとラベルグラフに伝播し、比較的正確な擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2023-05-10T04:02:08Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Label distribution learning via label correlation grid [9.340734188957727]
  ラベル関係の不確かさをモデル化するための textbfLabel textbfCorrelation textbfGrid (LCG) を提案する。 我々のネットワークはLCGを学習し、各インスタンスのラベル分布を正確に推定する。
  論文  参考訳（メタデータ） (2022-10-15T03:58:15Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Harmless label noise and informative soft-labels in supervised classification [1.6752182911522517]
  トレーニング例の手動ラベリングは、教師付き学習の一般的なプラクティスです。 ラベル処理が非自明な難易度である場合、供給されたラベルは接地ラベルと等しくなく、ラベルノイズをトレーニングデータセットに導入する。 特に、分類困難がラベルエラーの唯一の原因である場合、複数のノイズラベルセットは、分類規則の推定により多くの情報を提供することができる。
  論文  参考訳（メタデータ） (2021-04-07T02:56:11Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
  本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。 提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。 マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T12:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。