論文の概要: Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification
- arxiv url: http://arxiv.org/abs/2305.16885v1
- Date: Fri, 26 May 2023 12:41:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:04:07.002638
- Title: Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification
- Title（参考訳）: 階層型テキスト分類のための階層型バーバリザ
- Authors: Ke Ji and Yixin Lian and Jingsheng Gao and Baoyuan Wang
- Abstract要約: 階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。
本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。
このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
- 参考スコア（独自算出の注目度）: 10.578682558356473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the complex label hierarchy and intensive labeling cost in practice,
the hierarchical text classification (HTC) suffers a poor performance
especially when low-resource or few-shot settings are considered. Recently,
there is a growing trend of applying prompts on pre-trained language models
(PLMs), which has exhibited effectiveness in the few-shot flat text
classification tasks. However, limited work has studied the paradigm of
prompt-based learning in the HTC problem when the training data is extremely
scarce. In this work, we define a path-based few-shot setting and establish a
strict path-based evaluation metric to further explore few-shot HTC tasks. To
address the issue, we propose the hierarchical verbalizer ("HierVerb"), a
multi-verbalizer framework treating HTC as a single- or multi-label
classification problem at multiple layers and learning vectors as verbalizers
constrained by hierarchical structure and hierarchical contrastive learning. In
this manner, HierVerb fuses label hierarchy knowledge into verbalizers and
remarkably outperforms those who inject hierarchy through graph encoders,
maximizing the benefits of PLMs. Extensive experiments on three popular HTC
datasets under the few-shot settings demonstrate that prompt with HierVerb
significantly boosts the HTC performance, meanwhile indicating an elegant way
to bridge the gap between the large pre-trained model and downstream
hierarchical classification tasks. Our code and few-shot dataset are publicly
available at https://github.com/1KE-JI/HierVerb.
- Abstract（参考訳）: 複雑なラベル階層と高頻度なラベリングコストのため、階層的テキスト分類(HTC)は、特に低リソースや少数ショットの設定を考慮すると、パフォーマンスが低下する。
近年,プレトレーニング言語モデル(PLM)にプロンプトを適用する傾向が高まり,平易なテキスト分類タスクにおいて有効性を示している。
しかし、トレーニングデータが極めて少ないHTC問題において、プロンプトベースの学習のパラダイムを研究する研究は限られている。
そこで本研究では, 経路に基づく少数ショット設定を定義し, 厳密な経路ベースの評価基準を定め, 少数ショットhtcタスクをさらに探究する。
この問題に対処するために,HTCを複数の階層で単一あるいは複数ラベルの分類問題として扱い,ベクトルを階層構造や階層的コントラスト学習に制約された言語化問題として扱うマルチバーバリザ(HierVerb)を提案する。
このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れ、PLMの利点を最大化する。
少数の設定で人気のある3つのhtcデータセットに関する広範囲な実験は、hierverbによるプロンプトがhtcのパフォーマンスを著しく向上させ、一方、大きな事前訓練されたモデルと下流階層分類タスクの間のギャップを埋めるエレガントな方法を示している。
私たちのコードと少数のデータセットはhttps://github.com/1KE-JI/HierVerb.comで公開されています。
関連論文リスト
- Revisiting Hierarchical Text Classification: Inference and Metrics [4.057349748970303]
階層的テキスト分類(階層的テキスト分類、hierarchical text classification)は、階層として整理された構造化空間内のテキストにラベルを割り当てるタスクである。
最近の研究は、HTCを従来のマルチラベル分類問題として扱い、そのように評価している。
本稿では,特に設計した階層的指標に基づくモデルの評価を提案し,計量選択と予測推定手法の複雑さを実証する。
論文 参考訳（メタデータ） (2024-10-02T07:57:33Z) - Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。
階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。
HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2024-07-12T03:21:57Z) - Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification [34.06292178703825]
大規模な言語モデル(LLM)を備えた最初のICLベースのフレームワークを,数ショットのHTC向けに紹介する。
検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。
数ショットのHTCで最先端の成果が得られます。
論文 参考訳（メタデータ） (2024-06-25T13:19:41Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳（メタデータ） (2023-04-06T22:16:53Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳（メタデータ） (2023-03-09T09:05:47Z) - HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。
具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。
実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-04-28T11:22:49Z) - Constrained Sequence-to-Tree Generation for Hierarchical Text
Classification [10.143177923523407]
階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。
本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
論文 参考訳（メタデータ） (2022-04-02T08:35:39Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳（メタデータ） (2021-10-04T08:51:36Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳（メタデータ） (2021-01-02T07:13:41Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T22:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。