論文の概要: HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification

• arxiv url: http://arxiv.org/abs/2204.13413v1
• Date: Thu, 28 Apr 2022 11:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 13:22:31.581672
• Title: HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
• Title（参考訳）: HPT:階層型テキスト分類のための階層対応プロンプトチューニング
• Authors: Zihan Wang, Peiyi Wang, Tianyu Liu, Yunbo Cao, Zhifang Sui, Houfeng Wang
• Abstract要約: マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。 具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。 実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 45.314357107687286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical text classification (HTC) is a challenging subtask of multi-label classification due to its complex label hierarchy. Recently, the pretrained language models (PLM) have been widely adopted in HTC through a fine-tuning paradigm. However, in this paradigm, there exists a huge gap between the classification tasks with sophisticated label hierarchy and the masked language model (MLM) pretraining tasks of PLMs and thus the potentials of PLMs can not be fully tapped. To bridge the gap, in this paper, we propose HPT, a Hierarchy-aware Prompt Tuning method to handle HTC from a multi-label MLM perspective. Specifically, we construct dynamic virtual template and label words which take the form of soft prompts to fuse the label hierarchy knowledge and introduce a zero-bounded multi-label cross entropy loss to harmonize the objectives of HTC and MLM. Extensive experiments show HPT achieves the state-of-the-art performances on 3 popular HTC datasets and is adept at handling the imbalance and low resource situations.
• Abstract（参考訳）: 階層的テキスト分類(htc)は、複雑なラベル階層のため、マルチラベル分類の難しいサブタスクである。 最近、プレトレーニング言語モデル(PLM)は、微調整パラダイムを通じてHTCで広く採用されている。 しかし、このパラダイムでは、洗練されたラベル階層を持つ分類タスクとplmの事前学習タスクであるマスク言語モデル(mlm)の間に大きなギャップがあり、plmのポテンシャルを完全に把握することはできない。 本稿では,このギャップを埋めるために,多ラベルMLMの観点からHTCを扱う階層型Prompt Tuning法であるHPTを提案する。 具体的には,ラベル階層知識を融合するためにソフトプロンプトの形式をとる動的仮想テンプレートとラベルワードを構築し,htc と mlm の目的を調和させるためにゼロバウンドマルチラベルクロスエントロピー損失を導入する。 大規模な実験は、HPTが3つの人気HTCデータセットの最先端のパフォーマンスを達成し、不均衡と低リソース状況の処理に長けていることを示している。

関連論文リスト

• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
  我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。 階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。 HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2024-07-12T03:21:57Z)
• Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification [34.06292178703825]
  大規模な言語モデル(LLM)を備えた最初のICLベースのフレームワークを,数ショットのHTC向けに紹介する。 検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。 数ショットのHTCで最先端の成果が得られます。
  論文  参考訳（メタデータ） (2024-06-25T13:19:41Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
  階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。 本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。 このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
  論文  参考訳（メタデータ） (2023-05-26T12:41:49Z)
• MADNet: Maximizing Addressee Deduction Expectation for Multi-Party Conversation Generation [64.54727792762816]
  多人数会話(MPC)において共通の課題であるアドレスラベルの不足について検討する。 MPC生成のためのヘテロジニアスグラフニューラルネットワークにおけるアドレナリ推論期待を最大化するMADNetを提案する。 2つのUbuntu IRCチャネルベンチマークの実験結果から、MADNetは、MPC生成のタスクにおいて、様々なベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-22T05:50:11Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Constrained Sequence-to-Tree Generation for Hierarchical Text Classification [10.143177923523407]
  階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。 本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
  論文  参考訳（メタデータ） (2022-04-02T08:35:39Z)
• HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization [75.45291796263103]
  階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。 関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。 2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
  論文  参考訳（メタデータ） (2021-04-12T06:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。