論文の概要: HiLight: A Hierarchy-aware Light Global Model with Hierarchical Local ConTrastive Learning
- arxiv url: http://arxiv.org/abs/2408.05786v1
- Date: Sun, 11 Aug 2024 14:26:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 15:27:01.119588
- Title: HiLight: A Hierarchy-aware Light Global Model with Hierarchical Local ConTrastive Learning
- Title（参考訳）: HiLight: 階層的な局所的コントラスト学習を備えた階層的光グローバルモデル
- Authors: Zhijian Chen, Zhonghua Li, Jianxin Yang, Ye Qi,
- Abstract要約: 階層的テキスト分類(HTC)はマルチラベル分類(MLC)のサブタスクである
階層型局所コントラスト学習(HiLCL)と呼ばれる階層型情報を導入するための新しい学習課題を提案する。
- 参考スコア（独自算出の注目度）: 3.889612454093451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hierarchical text classification (HTC) is a special sub-task of multi-label classification (MLC) whose taxonomy is constructed as a tree and each sample is assigned with at least one path in the tree. Latest HTC models contain three modules: a text encoder, a structure encoder and a multi-label classification head. Specially, the structure encoder is designed to encode the hierarchy of taxonomy. However, the structure encoder has scale problem. As the taxonomy size increases, the learnable parameters of recent HTC works grow rapidly. Recursive regularization is another widely-used method to introduce hierarchical information but it has collapse problem and generally relaxed by assigning with a small weight (ie. 1e-6). In this paper, we propose a Hierarchy-aware Light Global model with Hierarchical local conTrastive learning (HiLight), a lightweight and efficient global model only consisting of a text encoder and a multi-label classification head. We propose a new learning task to introduce the hierarchical information, called Hierarchical Local Contrastive Learning (HiLCL). Extensive experiments are conducted on two benchmark datasets to demonstrate the effectiveness of our model.
- Abstract（参考訳）: 階層的テキスト分類 (HTC) はマルチラベル分類(MLC)の特別なサブタスクであり、分類は木として構築され、各サンプルは木内の少なくとも1つの経路に割り当てられる。
最新のHTCモデルには、テキストエンコーダ、構造エンコーダ、マルチラベル分類ヘッドの3つのモジュールが含まれている。
特に、構造エンコーダは分類学の階層をエンコードするように設計されている。
しかし、構造エンコーダにはスケールの問題がある。
分類学の規模が大きくなるにつれて、最近のHTCの学習可能なパラメータは急速に増加する。
再帰正則化(Recursive regularization)は階層的情報を導入するために広く使われている手法であるが、崩壊問題があり、一般には小さな重みを割り当てることによって緩和される(すなわち1e-6)。
本稿では,テキストエンコーダとマルチラベル分類ヘッドのみからなる軽量かつ効率的なグローバルモデルである階層的局所的コントラスト学習(HiLight)を用いた階層型光グローバルモデルを提案する。
階層型局所コントラスト学習(HiLCL)と呼ばれる階層型情報を導入するための新しい学習課題を提案する。
本モデルの有効性を示すために,2つのベンチマークデータセットを用いて大規模な実験を行った。
関連論文リスト
- TELEClass: Taxonomy Enrichment and LLM-Enhanced Hierarchical Text Classification with Minimal Supervision [41.05874642535256]
階層的なテキスト分類は、ラベル分類における各文書を一連のクラスに分類することを目的としている。
初期の研究は、大量の人間の注釈付きデータを必要とする完全または半教師付き手法に重点を置いていた。
我々は、最小限の監督量で階層的なテキスト分類に取り組んでおり、各ノードのクラス名のみを唯一の監督として使用しています。
論文 参考訳（メタデータ） (2024-02-29T22:26:07Z) - Utilizing Local Hierarchy with Adversarial Training for Hierarchical Text Classification [30.353876890557984]
階層的テキスト分類(HTC)は、その複雑な分類学的構造のために難しいサブタスクである。
我々は,ほぼすべてのHTCモデルに適合するHiAdvフレームワークを提案し,それを補助情報としてローカル階層で最適化する。
論文 参考訳（メタデータ） (2024-02-29T03:20:45Z) - HiTIN: Hierarchy-aware Tree Isomorphism Network for Hierarchical Text
Classification [18.03202012033514]
本稿では階層型木同型ネットワーク(HiTIN)を提案する。
我々は3つの一般的なデータセットで実験を行い、その結果、HiTINはより良いテスト性能とメモリ消費を達成できることを示した。
論文 参考訳（メタデータ） (2023-05-24T14:14:08Z) - Implant Global and Local Hierarchy Information to Sequence based Code
Representation Models [25.776540440893257]
完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。
ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
論文 参考訳（メタデータ） (2023-03-14T12:01:39Z) - Hierarchical Multi-Label Classification of Scientific Documents [47.293189105900524]
我々はSciHTCと呼ばれる科学論文の階層的多ラベルテキスト分類のための新しいデータセットを提案する。
このデータセットは、ACM CCSツリーから186,160の論文と1,233のカテゴリを含んでいる。
我々の最良のモデルでは、マクロF1スコアが34.57%に達し、このデータセットが大きな研究機会を提供することを示す。
論文 参考訳（メタデータ） (2022-11-05T04:12:57Z) - Seeded Hierarchical Clustering for Expert-Crafted Taxonomies [48.10324642720299]
ラベルなしコーパスを適合させる弱教師付きアルゴリズムであるHierSeedを提案する。
それはデータと効率の両方です。
SHCタスクの教師なしベースラインと教師なしベースラインの両方を3つの実世界のデータセットで上回る。
論文 参考訳（メタデータ） (2022-05-23T19:58:06Z) - Deep Hierarchical Semantic Segmentation [76.40565872257709]
階層的セマンティックセマンティックセグメンテーション(HSS)は、クラス階層の観点で視覚的観察を構造化、ピクセル単位で記述することを目的としている。
HSSNは、HSSを画素単位のマルチラベル分類タスクとしてキャストし、現在のセグメンテーションモデルに最小限のアーキテクチャ変更をもたらすだけである。
階層構造によって引き起こされるマージンの制約により、HSSNはピクセル埋め込み空間を再評価し、よく構造化されたピクセル表現を生成する。
論文 参考訳（メタデータ） (2022-03-27T15:47:44Z) - Hierarchical Text Classification As Sub-Hierarchy Sequence Generation [8.062201442038957]
階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。
最近のHTCモデルは階層情報をモデル構造に組み込もうとしている。
我々はHTCをサブ階層シーケンス生成として定式化し、階層情報をターゲットラベルシーケンスに組み込む。
HiDECは、ベンチマークデータセットの既存のモデルよりもモデルパラメータが大幅に少ない最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-11-22T10:50:39Z) - HTCInfoMax: A Global Model for Hierarchical Text Classification via
Information Maximization [75.45291796263103]
階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。
関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。
2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
論文 参考訳（メタデータ） (2021-04-12T06:04:20Z) - MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。
親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。
大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
論文 参考訳（メタデータ） (2021-02-15T05:23:08Z) - Exploring the Hierarchy in Relation Labels for Scene Graph Generation [75.88758055269948]
提案手法は,Recall@50において,複数の最先端ベースラインを大きなマージン(最大33%の相対利得)で改善することができる。
実験により,提案手法により,最先端のベースラインを大きなマージンで改善できることが示された。
論文 参考訳（メタデータ） (2020-09-12T17:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。