論文の概要: Description-Enhanced Label Embedding Contrastive Learning for Text Classification

• arxiv url: http://arxiv.org/abs/2306.08817v1
• Date: Thu, 15 Jun 2023 02:19:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 16:53:50.534030
• Title: Description-Enhanced Label Embedding Contrastive Learning for Text Classification
• Title（参考訳）: テキスト分類のための記述強化ラベル埋め込みコントラスト学習
• Authors: Kun Zhang, Le Wu, Guangyi Lv, Enhong Chen, Shulan Ruan, Jing Liu, Zhiqiang Zhang, Jun Zhou, Meng Wang
• Abstract要約: モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
• 参考スコア（独自算出の注目度）: 65.01077813330559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text Classification is one of the fundamental tasks in natural language processing, which requires an agent to determine the most appropriate category for input sentences. Recently, deep neural networks have achieved impressive performance in this area, especially Pre-trained Language Models (PLMs). Usually, these methods concentrate on input sentences and corresponding semantic embedding generation. However, for another essential component: labels, most existing works either treat them as meaningless one-hot vectors or use vanilla embedding methods to learn label representations along with model training, underestimating the semantic information and guidance that these labels reveal. To alleviate this problem and better exploit label information, in this paper, we employ Self-Supervised Learning (SSL) in model learning process and design a novel self-supervised Relation of Relation (R2) classification task for label utilization from a one-hot manner perspective. Then, we propose a novel Relation of Relation Learning Network (R2-Net) for text classification, in which text classification and R2 classification are treated as optimization targets. Meanwhile, triplet loss is employed to enhance the analysis of differences and connections among labels. Moreover, considering that one-hot usage is still short of exploiting label information, we incorporate external knowledge from WordNet to obtain multi-aspect descriptions for label semantic learning and extend R2-Net to a novel Description-Enhanced Label Embedding network (DELE) from a label embedding perspective. ...
• Abstract（参考訳）: テキスト分類は自然言語処理における基本的なタスクの1つであり、エージェントが入力文の最も適切なカテゴリを決定する必要がある。 近年、深層ニューラルネットワークはこの分野、特にプレトレーニング言語モデル(PLM)において顕著なパフォーマンスを達成している。 通常、これらの手法は入力文と対応するセマンティック埋め込み生成に集中する。 しかし、ラベルにとって重要な要素は、ほとんどの既存の作業は、意味のない1ホットベクトルとして扱うか、モデルトレーニングとともにラベル表現を学習するためにバニラ埋め込みメソッドを使用し、これらのラベルが示す意味情報やガイダンスを過小評価する。 本稿では,この問題を緩和し,ラベル情報をうまく活用するために,モデル学習プロセスにSSL(Self-Supervised Learning)を採用し,一方的な視点からラベル利用のための新たな自己監督関係(R2)分類タスクを設計する。 そこで本研究では,テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)を提案する。 一方,3重項損失はラベル間の差異や接続の分析を高めるために用いられる。 さらに,ラベル情報の活用にはまだ不足しているため,WordNetから外部知識を取り入れてラベル意味学習のためのマルチアスペクト記述を行い,ラベル埋め込みの観点からR2-Netを新しいDescription-Enhanced Label Embedding Network(DELE)に拡張する。 ...

関連論文リスト

• Leveraging Label Semantics and Meta-Label Refinement for Multi-Label Question Classification [11.19022605804112]
  本稿では,新手法RR2QCを多ラベル質問分類に適用する。 ラベルセマンティクスとメタラベルの改良を使用して、パーソナライズされた学習とリソースレコメンデーションを強化する。 実験の結果,RR2QCはPrecision@kとF1スコアの既存の分類方法よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-04T06:27:14Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification [4.342189319523322]
  そこで,本研究では,シム BERT による新しいモデル構造と IDEA という対話型ダブルアテンションを提案し,テキストとラベル名の情報交換を行う。 提案手法は, ラベルテキストを用いた最先端の手法よりも, より安定した結果が得られている。
  論文  参考訳（メタデータ） (2022-09-23T04:50:47Z)
• Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
  テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。 LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
  論文  参考訳（メタデータ） (2022-04-14T17:33:34Z)
• Prompt-Learning for Short Text Classification [30.53216712864025]
  短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。 本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
  論文  参考訳（メタデータ） (2022-02-23T08:07:06Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)
• Description Based Text Classification with Reinforcement Learning [34.18824470728299]
  本稿では,各カテゴリのラベルをカテゴリ記述に関連付ける,テキスト分類のための新しいフレームワークを提案する。 我々は、幅広いテキスト分類タスクにおいて、強いベースラインよりも顕著なパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-08T02:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。