論文の概要: Hierarchy-Aware T5 with Path-Adaptive Mask Mechanism for Hierarchical Text Classification

• arxiv url: http://arxiv.org/abs/2109.08585v1
• Date: Fri, 17 Sep 2021 15:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-20 14:51:50.458238
• Title: Hierarchy-Aware T5 with Path-Adaptive Mask Mechanism for Hierarchical Text Classification
• Title（参考訳）: 階層的テキスト分類のためのパス適応マスク機構を備えた階層認識t5
• Authors: Wei Huang, Chen Liu, Yihua Zhao, Xinyun Yang, Zhaoming Pan, Zhimin Zhang, Guiquan Liu
• Abstract要約: 階層型テキスト分類のためのパス適応マスク機構を備えた階層型T5モデルを提案する。 我々の新しいPAMM-HiA-T5モデルは、特にMacro-F1において、最先端のHTCアプローチを大きく上回っている。
• 参考スコア（独自算出の注目度）: 6.442673641753716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical Text Classification (HTC), which aims to predict text labels organized in hierarchical space, is a significant task lacking in investigation in natural language processing. Existing methods usually encode the entire hierarchical structure and fail to construct a robust label-dependent model, making it hard to make accurate predictions on sparse lower-level labels and achieving low Macro-F1. In this paper, we propose a novel PAMM-HiA-T5 model for HTC: a hierarchy-aware T5 model with path-adaptive mask mechanism that not only builds the knowledge of upper-level labels into low-level ones but also introduces path dependency information in label prediction. Specifically, we generate a multi-level sequential label structure to exploit hierarchical dependency across different levels with Breadth-First Search (BFS) and T5 model. To further improve label dependency prediction within each path, we then propose an original path-adaptive mask mechanism (PAMM) to identify the label's path information, eliminating sources of noises from other paths. Comprehensive experiments on three benchmark datasets show that our novel PAMM-HiA-T5 model greatly outperforms all state-of-the-art HTC approaches especially in Macro-F1. The ablation studies show that the improvements mainly come from our innovative approach instead of T5.
• Abstract（参考訳）: 階層型テキスト分類(HTC)は,階層型空間で編成されたテキストラベルを予測することを目的としており,自然言語処理の研究に欠かせない重要な課題である。 既存の手法は通常、階層構造全体をエンコードし、ロバストなラベル依存モデルの構築に失敗する。 本稿では,HTC向けの新しいPAMM-HiA-T5モデルを提案する。パス適応マスク機構を備えた階層型T5モデルは,上位ラベルの知識を低レベルラベルに構築するだけでなく,ラベル予測にパス依存情報も導入する。 具体的には,マルチレベルシーケンシャルなラベル構造を生成し,階層的依存関係を多層的に活用し,ブロードファースト検索(bfs)とt5モデルを用いた。 そこで我々は,各経路におけるラベル依存性予測をさらに改善するために,ラベルの経路情報を識別し,他の経路からのノイズ源を除去する独自のパス適応マスク機構(PAMM)を提案する。 3つのベンチマークデータセットに関する総合的な実験により、新しいPAMM-HiA-T5モデルは、特にマクロF1におけるHTCの最先端アプローチを大きく上回っていることが示された。 アブレーション研究はt5ではなくイノベーティブなアプローチが主な改善点であることを示している。

関連論文リスト

• Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
  我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。 階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。 HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2024-07-12T03:21:57Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
  マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。 具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。 実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-28T11:22:49Z)
• Constrained Sequence-to-Tree Generation for Hierarchical Text Classification [10.143177923523407]
  階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。 本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
  論文  参考訳（メタデータ） (2022-04-02T08:35:39Z)
• Hierarchical Text Classification As Sub-Hierarchy Sequence Generation [8.062201442038957]
  階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。 最近のHTCモデルは階層情報をモデル構造に組み込もうとしている。 我々はHTCをサブ階層シーケンス生成として定式化し、階層情報をターゲットラベルシーケンスに組み込む。 HiDECは、ベンチマークデータセットの既存のモデルよりもモデルパラメータが大幅に少ない最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-11-22T10:50:39Z)
• Pack Together: Entity and Relation Extraction with Levitated Marker [61.232174424421025]
  エンコーダにマーカを戦略的にパッケージ化することにより,スパン(ペア)間の依存関係を検討するために,Packed Levitated Markersという新しいスパン表現手法を提案する。 実験の結果,3つの平坦なNERタスクにおいて,有望なマーカーが充填されたモデルの方がシーケンスラベルモデルよりも0.4%-1.9%優れ,トークンコンキャットモデルを6つのNERベンチマークで上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T15:38:13Z)
• HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization [75.45291796263103]
  階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。 関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。 2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
  論文  参考訳（メタデータ） (2021-04-12T06:04:20Z)
• MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
  MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。 親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。 大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-15T05:23:08Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。