論文の概要: A Transformer-based Autoregressive Decoder Architecture for Hierarchical Text Classification
- arxiv url: http://arxiv.org/abs/2501.13598v1
- Date: Thu, 23 Jan 2025 12:06:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:57:40.144303
- Title: A Transformer-based Autoregressive Decoder Architecture for Hierarchical Text Classification
- Title（参考訳）: 階層型テキスト分類のためのトランスフォーマーに基づく自己回帰デコーダアーキテクチャ
- Authors: Younes Yousef, Lukas Galke, Ansgar Scherp,
- Abstract要約: 本稿では,市販のRoBERTa変換器をベースとした効果的な階層型テキスト分類アーキテクチャを提案する。
階層的なテキスト分類のための既存のアプローチとは異なり、RADArのエンコーダはラベル階層を明示的にエンコードしていない。
実験の結果,ラベルのセマンティクスや階層の明示的なグラフエンコーダは不要であることが確認された。
- 参考スコア（独自算出の注目度）: 6.704529554100875
- License:
- Abstract: Recent approaches in hierarchical text classification (HTC) rely on the capabilities of a pre-trained transformer model and exploit the label semantics and a graph encoder for the label hierarchy. In this paper, we introduce an effective hierarchical text classifier RADAr (Transformer-based Autoregressive Decoder Architecture) that is based only on an off-the-shelf RoBERTa transformer to process the input and a custom autoregressive decoder with two decoder layers for generating the classification output. Thus, unlike existing approaches for HTC, the encoder of RADAr has no explicit encoding of the label hierarchy and the decoder solely relies on the label sequences of the samples observed during training. We demonstrate on three benchmark datasets that RADAr achieves results competitive to the state of the art with less training and inference time. Our model consistently performs better when organizing the label sequences from children to parents versus the inverse, as done in existing HTC approaches. Our experiments show that neither the label semantics nor an explicit graph encoder for the hierarchy is needed. This has strong practical implications for HTC as the architecture has fewer requirements and provides a speed-up by a factor of 2 at inference time. Moreover, training a separate decoder from scratch in conjunction with fine-tuning the encoder allows future researchers and practitioners to exchange the encoder part as new models arise. The source code is available at https://github.com/yousef-younes/RADAr.
- Abstract（参考訳）: 階層型テキスト分類(HTC)の最近のアプローチは、事前訓練されたトランスフォーマーモデルの能力に依存し、ラベルセマンティクスとラベル階層のためのグラフエンコーダを利用する。
本稿では,市販のRoBERTa変換器のみをベースとした効率的な階層型テキスト分類器RADAr(Transformer-based Autoregressive Decoder Architecture)と,その出力を生成する2つのデコーダ層を備えたカスタム自己回帰復号器を提案する。
したがって、HTCの既存のアプローチとは異なり、RADArのエンコーダはラベル階層を明示的にエンコードせず、デコーダはトレーニング中に観察されたサンプルのラベルシーケンスにのみ依存する。
RADArは、トレーニングや推論時間を減らすことで、最先端技術と競合する結果が得られる3つのベンチマークデータセットを実証する。
我々のモデルは、既存のHTCのアプローチのように、子供から親へのラベルシーケンスを逆に対して整理する場合、一貫して改善されている。
実験の結果,ラベルのセマンティクスや階層の明示的なグラフエンコーダは不要であることが確認された。
これは、アーキテクチャが要求が少なく、推論時に2倍のスピードアップを提供するため、HTCにとって非常に実用的な意味を持つ。
さらに、別のデコーダをスクラッチからトレーニングし、細調整と組み合わせることで、将来の研究者や実践者がエンコーダのパーツを交換することができる。
ソースコードはhttps://github.com/yousef-younes/RADAr.comで入手できる。
関連論文リスト
- Triple-View Knowledge Distillation for Semi-Supervised Semantic
Segmentation [54.23510028456082]
半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。
このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
論文 参考訳（メタデータ） (2023-09-22T01:02:21Z) - Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。
本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。
このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
論文 参考訳（メタデータ） (2023-05-26T12:41:49Z) - HiTIN: Hierarchy-aware Tree Isomorphism Network for Hierarchical Text
Classification [18.03202012033514]
本稿では階層型木同型ネットワーク(HiTIN)を提案する。
我々は3つの一般的なデータセットで実験を行い、その結果、HiTINはより良いテスト性能とメモリ消費を達成できることを示した。
論文 参考訳（メタデータ） (2023-05-24T14:14:08Z) - An Exploration of Encoder-Decoder Approaches to Multi-Label
Classification for Legal and Biomedical Text [20.100081284294973]
マルチラベル分類のための4つの手法を比較し,エンコーダのみに基づく2つの手法と,エンコーダ-デコーダに基づく2つの手法を比較した。
その結果、エンコーダ-デコーダ法はエンコーダのみの手法よりも優れており、より複雑なデータセットに有利であることがわかった。
論文 参考訳（メタデータ） (2023-05-09T17:13:53Z) - Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。
また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
論文 参考訳（メタデータ） (2023-05-08T07:04:28Z) - ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking
Inference [70.36083572306839]
本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。
文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。
このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
論文 参考訳（メタデータ） (2022-04-25T06:26:29Z) - Label Semantics for Few Shot Named Entity Recognition [68.01364012546402]
名前付きエンティティ認識におけるショットラーニングの問題について検討する。
我々は,ラベル名中の意味情報を,モデルに付加的な信号を与え,よりリッチな事前情報を与える手段として活用する。
本モデルは,第1エンコーダによって計算された名前付きエンティティの表現と,第2エンコーダによって計算されたラベル表現とを一致させることを学習する。
論文 参考訳（メタデータ） (2022-03-16T23:21:05Z) - Trans-Encoder: Unsupervised sentence-pair modelling through self- and
mutual-distillations [22.40667024030858]
バイエンコーダは固定次元の文表現を生成し、計算効率が良い。
クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。
Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
論文 参考訳（メタデータ） (2021-09-27T14:06:47Z) - Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective
with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。
具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。
トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。
SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文 参考訳（メタデータ） (2020-12-31T18:55:57Z) - LabelEnc: A New Intermediate Supervision Method for Object Detection [78.74368141062797]
本稿では,オブジェクト検出システムのトレーニングを促進するため,LabelEncという新たな中間監視手法を提案する。
鍵となるアイデアは、新しいラベル符号化機能を導入し、接地木ラベルを潜伏埋め込みにマッピングすることである。
実験の結果,COCOデータセット上での検出精度は,約2%向上した。
論文 参考訳（メタデータ） (2020-07-07T08:55:05Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳（メタデータ） (2020-05-16T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。