論文の概要: HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
- arxiv url: http://arxiv.org/abs/2204.13413v1
- Date: Thu, 28 Apr 2022 11:22:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 13:22:31.581672
- Title: HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
- Title(参考訳): HPT:階層型テキスト分類のための階層対応プロンプトチューニング
- Authors: Zihan Wang, Peiyi Wang, Tianyu Liu, Yunbo Cao, Zhifang Sui, Houfeng
Wang
- Abstract要約: マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。
具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。
実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 45.314357107687286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical text classification (HTC) is a challenging subtask of
multi-label classification due to its complex label hierarchy. Recently, the
pretrained language models (PLM) have been widely adopted in HTC through a
fine-tuning paradigm. However, in this paradigm, there exists a huge gap
between the classification tasks with sophisticated label hierarchy and the
masked language model (MLM) pretraining tasks of PLMs and thus the potentials
of PLMs can not be fully tapped. To bridge the gap, in this paper, we propose
HPT, a Hierarchy-aware Prompt Tuning method to handle HTC from a multi-label
MLM perspective. Specifically, we construct dynamic virtual template and label
words which take the form of soft prompts to fuse the label hierarchy knowledge
and introduce a zero-bounded multi-label cross entropy loss to harmonize the
objectives of HTC and MLM. Extensive experiments show HPT achieves the
state-of-the-art performances on 3 popular HTC datasets and is adept at
handling the imbalance and low resource situations.
- Abstract(参考訳): 階層的テキスト分類(htc)は、複雑なラベル階層のため、マルチラベル分類の難しいサブタスクである。
最近、プレトレーニング言語モデル(PLM)は、微調整パラダイムを通じてHTCで広く採用されている。
しかし、このパラダイムでは、洗練されたラベル階層を持つ分類タスクとplmの事前学習タスクであるマスク言語モデル(mlm)の間に大きなギャップがあり、plmのポテンシャルを完全に把握することはできない。
本稿では,このギャップを埋めるために,多ラベルMLMの観点からHTCを扱う階層型Prompt Tuning法であるHPTを提案する。
具体的には,ラベル階層知識を融合するためにソフトプロンプトの形式をとる動的仮想テンプレートとラベルワードを構築し,htc と mlm の目的を調和させるためにゼロバウンドマルチラベルクロスエントロピー損失を導入する。
大規模な実験は、HPTが3つの人気HTCデータセットの最先端のパフォーマンスを達成し、不均衡と低リソース状況の処理に長けていることを示している。
関連論文リスト
- Utilizing Local Hierarchy with Adversarial Training for Hierarchical
Text Classification [34.11471571514832]
階層的テキスト分類(HTC)は、その複雑な分類学的構造のために難しいサブタスクである。
我々は,ほぼすべてのHTCモデルに適合するHiAdvフレームワークを提案し,それを補助情報としてローカル階層で最適化する。
論文 参考訳(メタデータ) (2024-02-29T03:20:45Z) - HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text
Classification [19.12354692458442]
階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。
動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
論文 参考訳(メタデータ) (2024-01-24T04:44:42Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。
本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。
このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
論文 参考訳(メタデータ) (2023-05-26T12:41:49Z) - MADNet: Maximizing Addressee Deduction Expectation for Multi-Party
Conversation Generation [64.54727792762816]
多人数会話(MPC)において共通の課題であるアドレスラベルの不足について検討する。
MPC生成のためのヘテロジニアスグラフニューラルネットワークにおけるアドレナリ推論期待を最大化するMADNetを提案する。
2つのUbuntu IRCチャネルベンチマークの実験結果から、MADNetは、MPC生成のタスクにおいて、様々なベースラインモデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-05-22T05:50:11Z) - Guiding the PLMs with Semantic Anchors as Intermediate Supervision:
Towards Interpretable Semantic Parsing [57.11806632758607]
本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。
第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。
いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2022-10-04T07:27:29Z) - Constrained Sequence-to-Tree Generation for Hierarchical Text
Classification [10.143177923523407]
階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。
本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
論文 参考訳(メタデータ) (2022-04-02T08:35:39Z) - Hierarchy-Aware T5 with Path-Adaptive Mask Mechanism for Hierarchical
Text Classification [6.442673641753716]
階層型テキスト分類のためのパス適応マスク機構を備えた階層型T5モデルを提案する。
我々の新しいPAMM-HiA-T5モデルは、特にMacro-F1において、最先端のHTCアプローチを大きく上回っている。
論文 参考訳(メタデータ) (2021-09-17T15:03:03Z) - HTCInfoMax: A Global Model for Hierarchical Text Classification via
Information Maximization [75.45291796263103]
階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。
関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。
2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
論文 参考訳(メタデータ) (2021-04-12T06:04:20Z) - An Empirical Study on Large-Scale Multi-Label Text Classification
Including Few and Zero-Shot Labels [49.036212158261215]
大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。
Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル
確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。
BERTとLWANを組み合わせた最先端手法を提案する。
論文 参考訳(メタデータ) (2020-10-04T18:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。