論文の概要: Hierarchical Text Classification As Sub-Hierarchy Sequence Generation
- arxiv url: http://arxiv.org/abs/2111.11104v3
- Date: Tue, 7 Nov 2023 01:52:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 20:19:59.087589
- Title: Hierarchical Text Classification As Sub-Hierarchy Sequence Generation
- Title（参考訳）: 階層系列生成における階層的テキスト分類
- Authors: SangHun Im, Gibaeg Kim, Heung-Seon Oh, Seongung Jo, Donghwan Kim
- Abstract要約: 階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。
最近のHTCモデルは階層情報をモデル構造に組み込もうとしている。
我々はHTCをサブ階層シーケンス生成として定式化し、階層情報をターゲットラベルシーケンスに組み込む。
HiDECは、ベンチマークデータセットの既存のモデルよりもモデルパラメータが大幅に少ない最先端のパフォーマンスを達成した。
- 参考スコア（独自算出の注目度）: 8.062201442038957
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Hierarchical text classification (HTC) is essential for various real
applications. However, HTC models are challenging to develop because they often
require processing a large volume of documents and labels with hierarchical
taxonomy. Recent HTC models based on deep learning have attempted to
incorporate hierarchy information into a model structure. Consequently, these
models are challenging to implement when the model parameters increase for a
large-scale hierarchy because the model structure depends on the hierarchy
size. To solve this problem, we formulate HTC as a sub-hierarchy sequence
generation to incorporate hierarchy information into a target label sequence
instead of the model structure. Subsequently, we propose the Hierarchy DECoder
(HiDEC), which decodes a text sequence into a sub-hierarchy sequence using
recursive hierarchy decoding, classifying all parents at the same level into
children at once. In addition, HiDEC is trained to use hierarchical path
information from a root to each leaf in a sub-hierarchy composed of the labels
of a target document via an attention mechanism and hierarchy-aware masking.
HiDEC achieved state-of-the-art performance with significantly fewer model
parameters than existing models on benchmark datasets, such as RCV1-v2, NYT,
and EURLEX57K.
- Abstract（参考訳）: 階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。
しかし、HTCモデルは大量の文書やラベルを階層的な分類で処理する必要があるため、開発が難しい。
ディープラーニングに基づく最近のHTCモデルは、階層情報をモデル構造に組み込もうとしている。
その結果、モデル構造が階層のサイズに依存するため、モデルパラメータが大規模階層で増加すると、これらのモデルは実装が困難になる。
この問題を解決するために,htc を階層系列生成サブ階層として定式化し,階層情報をモデル構造に代えてターゲットラベルシーケンスに組み込む。
その後、再帰的階層デコードを用いてテキストシーケンスをサブ階層シーケンスにデコードし、同じレベルですべての親を一度に子供に分類する階層DECoder(HiDEC)を提案する。
さらに、HiDECは、注目機構と階層対応マスキングを介して、対象文書のラベルからなるサブ階層において、根から各葉への階層パス情報を使用するように訓練されている。
HiDECは、RCV1-v2、NYT、EURLEX57Kといったベンチマークデータセットの既存のモデルに比べて、かなり少ないモデルパラメータで最先端のパフォーマンスを達成した。
関連論文リスト
- HiLight: A Hierarchy-aware Light Global Model with Hierarchical Local ConTrastive Learning [3.889612454093451]
階層的テキスト分類(HTC)はマルチラベル分類(MLC)のサブタスクである
階層型局所コントラスト学習(HiLCL)と呼ばれる階層型情報を導入するための新しい学習課題を提案する。
論文 参考訳（メタデータ） (2024-08-11T14:26:58Z) - Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。
階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。
HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2024-07-12T03:21:57Z) - HDT: Hierarchical Document Transformer [70.2271469410557]
HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。
文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
論文 参考訳（メタデータ） (2024-07-11T09:28:04Z) - Utilizing Local Hierarchy with Adversarial Training for Hierarchical Text Classification [30.353876890557984]
階層的テキスト分類(HTC)は、その複雑な分類学的構造のために難しいサブタスクである。
我々は,ほぼすべてのHTCモデルに適合するHiAdvフレームワークを提案し,それを補助情報としてローカル階層で最適化する。
論文 参考訳（メタデータ） (2024-02-29T03:20:45Z) - Implant Global and Local Hierarchy Information to Sequence based Code
Representation Models [25.776540440893257]
完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。
ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
論文 参考訳（メタデータ） (2023-03-14T12:01:39Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - Constrained Sequence-to-Tree Generation for Hierarchical Text
Classification [10.143177923523407]
階層的テキスト分類(HTC)は、分類学内で複数の階層的に構造化されたカテゴリに文書を割り当てる難易度の高いタスクである。
本稿では,HTCをシーケンス生成タスクとして定式化し,階層的なラベル構造をモデル化するためのシーケンス・ツー・ツリー・フレームワーク(Seq2Tree)を導入する。
論文 参考訳（メタデータ） (2022-04-02T08:35:39Z) - Deep Hierarchical Semantic Segmentation [76.40565872257709]
階層的セマンティックセマンティックセグメンテーション(HSS)は、クラス階層の観点で視覚的観察を構造化、ピクセル単位で記述することを目的としている。
HSSNは、HSSを画素単位のマルチラベル分類タスクとしてキャストし、現在のセグメンテーションモデルに最小限のアーキテクチャ変更をもたらすだけである。
階層構造によって引き起こされるマージンの制約により、HSSNはピクセル埋め込み空間を再評価し、よく構造化されたピクセル表現を生成する。
論文 参考訳（メタデータ） (2022-03-27T15:47:44Z) - Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic
Cones [64.75766944882389]
知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。
特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。
我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
論文 参考訳（メタデータ） (2021-10-28T07:16:08Z) - Exploring the Hierarchy in Relation Labels for Scene Graph Generation [75.88758055269948]
提案手法は,Recall@50において,複数の最先端ベースラインを大きなマージン(最大33%の相対利得)で改善することができる。
実験により,提案手法により,最先端のベースラインを大きなマージンで改善できることが示された。
論文 参考訳（メタデータ） (2020-09-12T17:36:53Z) - Which Kind Is Better in Open-domain Multi-turn Dialog,Hierarchical or
Non-hierarchical Models? An Empirical Study [52.66393833841219]
オープンドメインのマルチターンダイアログ生成には,階層モデルと非階層モデルという2つのモデルがある。
本稿では、同じ実験環境において、ほぼすべての代表階層モデルと非階層モデルを測定し、どのモデルが良いかを確認する。
HRANの優れた性能は、主に単語レベルの注意機構に依存している。
論文 参考訳（メタデータ） (2020-08-07T02:54:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。