論文の概要: Hierarchy-Aware T5 with Path-Adaptive Mask Mechanism for Hierarchical
Text Classification
- arxiv url: http://arxiv.org/abs/2109.08585v1
- Date: Fri, 17 Sep 2021 15:03:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 14:51:50.458238
- Title: Hierarchy-Aware T5 with Path-Adaptive Mask Mechanism for Hierarchical
Text Classification
- Title(参考訳): 階層的テキスト分類のためのパス適応マスク機構を備えた階層認識t5
- Authors: Wei Huang, Chen Liu, Yihua Zhao, Xinyun Yang, Zhaoming Pan, Zhimin
Zhang, Guiquan Liu
- Abstract要約: 階層型テキスト分類のためのパス適応マスク機構を備えた階層型T5モデルを提案する。
我々の新しいPAMM-HiA-T5モデルは、特にMacro-F1において、最先端のHTCアプローチを大きく上回っている。
- 参考スコア(独自算出の注目度): 6.442673641753716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical Text Classification (HTC), which aims to predict text labels
organized in hierarchical space, is a significant task lacking in investigation
in natural language processing. Existing methods usually encode the entire
hierarchical structure and fail to construct a robust label-dependent model,
making it hard to make accurate predictions on sparse lower-level labels and
achieving low Macro-F1. In this paper, we propose a novel PAMM-HiA-T5 model for
HTC: a hierarchy-aware T5 model with path-adaptive mask mechanism that not only
builds the knowledge of upper-level labels into low-level ones but also
introduces path dependency information in label prediction. Specifically, we
generate a multi-level sequential label structure to exploit hierarchical
dependency across different levels with Breadth-First Search (BFS) and T5
model. To further improve label dependency prediction within each path, we then
propose an original path-adaptive mask mechanism (PAMM) to identify the label's
path information, eliminating sources of noises from other paths. Comprehensive
experiments on three benchmark datasets show that our novel PAMM-HiA-T5 model
greatly outperforms all state-of-the-art HTC approaches especially in Macro-F1.
The ablation studies show that the improvements mainly come from our innovative
approach instead of T5.
- Abstract(参考訳): 階層型テキスト分類(HTC)は,階層型空間で編成されたテキストラベルを予測することを目的としており,自然言語処理の研究に欠かせない重要な課題である。
既存の手法は通常、階層構造全体をエンコードし、ロバストなラベル依存モデルの構築に失敗する。
本稿では,HTC向けの新しいPAMM-HiA-T5モデルを提案する。パス適応マスク機構を備えた階層型T5モデルは,上位ラベルの知識を低レベルラベルに構築するだけでなく,ラベル予測にパス依存情報も導入する。
具体的には,マルチレベルシーケンシャルなラベル構造を生成し,階層的依存関係を多層的に活用し,ブロードファースト検索(bfs)とt5モデルを用いた。
そこで我々は,各経路におけるラベル依存性予測をさらに改善するために,ラベルの経路情報を識別し,他の経路からのノイズ源を除去する独自のパス適応マスク機構(PAMM)を提案する。
3つのベンチマークデータセットに関する総合的な実験により、新しいPAMM-HiA-T5モデルは、特にマクロF1におけるHTCの最先端アプローチを大きく上回っていることが示された。
アブレーション研究はt5ではなくイノベーティブなアプローチが主な改善点であることを示している。
関連論文リスト
- HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text
Classification [19.12354692458442]
階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。
動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
論文 参考訳(メタデータ) (2024-01-24T04:44:42Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳(メタデータ) (2023-03-23T12:39:20Z) - HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。
具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。
実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-04-28T11:22:49Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Constrained Sequence-to-Tree Generation for Hierarchical Text
Classification [10.143177923523407]
階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。
本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
論文 参考訳(メタデータ) (2022-04-02T08:35:39Z) - Hierarchical Text Classification As Sub-Hierarchy Sequence Generation [8.062201442038957]
階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。
最近のHTCモデルは階層情報をモデル構造に組み込もうとしている。
我々はHTCをサブ階層シーケンス生成として定式化し、階層情報をターゲットラベルシーケンスに組み込む。
HiDECは、ベンチマークデータセットの既存のモデルよりもモデルパラメータが大幅に少ない最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2021-11-22T10:50:39Z) - Pack Together: Entity and Relation Extraction with Levitated Marker [61.232174424421025]
エンコーダにマーカを戦略的にパッケージ化することにより,スパン(ペア)間の依存関係を検討するために,Packed Levitated Markersという新しいスパン表現手法を提案する。
実験の結果,3つの平坦なNERタスクにおいて,有望なマーカーが充填されたモデルの方がシーケンスラベルモデルよりも0.4%-1.9%優れ,トークンコンキャットモデルを6つのNERベンチマークで上回っていることがわかった。
論文 参考訳(メタデータ) (2021-09-13T15:38:13Z) - HTCInfoMax: A Global Model for Hierarchical Text Classification via
Information Maximization [75.45291796263103]
階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。
関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。
2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
論文 参考訳(メタデータ) (2021-04-12T06:04:20Z) - Improving Pretrained Models for Zero-shot Multi-label Text
Classification through Reinforced Label Hierarchy Reasoning [18.531022315325583]
ラベル階層の探索は、ゼロショットのマルチラベルテキスト分類問題に取り組むための有望なアプローチとなっている。
トレーニング中の階層内のラベル間の相互依存性を促進するために,RLHR(Reinforced Label Hierarchy Reasoning)アプローチを提案する。
論文 参考訳(メタデータ) (2021-04-04T19:14:09Z) - MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。
親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。
大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
論文 参考訳(メタデータ) (2021-02-15T05:23:08Z) - An Empirical Study on Large-Scale Multi-Label Text Classification
Including Few and Zero-Shot Labels [49.036212158261215]
大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。
Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル
確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。
BERTとLWANを組み合わせた最先端手法を提案する。
論文 参考訳(メタデータ) (2020-10-04T18:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。