Fugu-MT 論文翻訳(概要): Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning

論文の概要: Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning

arxiv url: http://arxiv.org/abs/2104.01666v1
Date: Sun, 4 Apr 2021 19:14:09 GMT
ステータス: 処理完了
システム内更新日: 2021-04-07 03:08:12.628433
Title: Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Title（参考訳）: 強化ラベル階層推論によるゼロショットマルチラベルテキスト分類のための事前学習モデルの改良
Authors: Hui Liu, Danqing Zhang, Bing Yin, Xiaodan Zhu
Abstract要約: ラベル階層の探索は、ゼロショットのマルチラベルテキスト分類問題に取り組むための有望なアプローチとなっている。トレーニング中の階層内のラベル間の相互依存性を促進するために,RLHR(Reinforced Label Hierarchy Reasoning)アプローチを提案する。
参考スコア（独自算出の注目度）: 18.531022315325583
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Exploiting label hierarchies has become a promising approach to tackling the zero-shot multi-label text classification (ZS-MTC) problem. Conventional methods aim to learn a matching model between text and labels, using a graph encoder to incorporate label hierarchies to obtain effective label representations \cite{rios2018few}. More recently, pretrained models like BERT \cite{devlin2018bert} have been used to convert classification tasks into a textual entailment task \cite{yin-etal-2019-benchmarking}. This approach is naturally suitable for the ZS-MTC task. However, pretrained models are underexplored in the existing work because they do not generate individual vector representations for text or labels, making it unintuitive to combine them with conventional graph encoding methods. In this paper, we explore to improve pretrained models with label hierarchies on the ZS-MTC task. We propose a Reinforced Label Hierarchy Reasoning (RLHR) approach to encourage interdependence among labels in the hierarchies during training. Meanwhile, to overcome the weakness of flat predictions, we design a rollback algorithm that can remove logical errors from predictions during inference. Experimental results on three real-life datasets show that our approach achieves better performance and outperforms previous non-pretrained methods on the ZS-MTC task.
Abstract（参考訳）: ラベル階層の爆発はゼロショットマルチラベルテキスト分類(ZS-MTC)問題に取り組む上で有望なアプローチとなっている。従来の手法は、グラフエンコーダを用いてラベル階層を組み込んでテキストとラベルのマッチングモデルを学習し、効果的なラベル表現を得る。最近では、BERT \cite{devlin2018bert} のような事前訓練されたモデルは、分類タスクをテキストエンテーメントタスク \cite{yin-etal-2019-benchmarking} に変換するために使用されている。このアプローチはZS-MTCタスクに適している。しかし、事前学習されたモデルは、テキストやラベルの個々のベクトル表現を生成せず、従来のグラフエンコーディング法と組み合わせるのは直感的ではないため、既存の作業では未熟である。本稿では,ZS-MTCタスクにおけるラベル階層を用いた事前学習モデルの改良について検討する。学習中に階層内のラベル間の相互依存を促進するために,強化ラベル階層推論(rlhr)手法を提案する。一方,フラット予測の弱さを克服するために,予測から論理誤差を除去できるロールバックアルゴリズムを設計した。 3つの実時間データセットにおける実験結果から,zs-mtcタスクにおける従来の非事前学習手法よりも優れた性能と性能が得られた。

関連論文リスト

Rank-Aware Negative Training for Semi-Supervised Text Classification [3.105629960108712]
半教師付きテキスト分類ベースのパラダイム(SSTC)は通常、自己学習の精神を用いる。本稿では,SSTCを雑音ラベル方式で学習する上で,RNT(Range-Aware Negative Training)フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-13T08:41:36Z)
ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
論文参考訳（メタデータ） (2023-06-04T02:55:25Z)
Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。本稿では,生成モデルの観点からラベルノイズ問題を再構成する。我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文参考訳（メタデータ） (2023-05-31T03:01:36Z)
Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文参考訳（メタデータ） (2023-03-23T12:39:20Z)
TagRec++: Hierarchical Label Aware Attention Network for Question Categorization [0.3683202928838613]
オンライン学習システムは、階層的な性質の明確に定義された分類に従ってコンテンツを整理する。階層ラベルへの入力を分類するタスクは通常、フラットな多クラス分類問題として扱われる。各コンテンツに対して適切な階層ラベルを検索するために,タスクを高密度検索問題として定式化する。
論文参考訳（メタデータ） (2022-08-10T05:08:37Z)
Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
論文参考訳（メタデータ） (2022-06-16T13:14:03Z)
Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文参考訳（メタデータ） (2022-06-13T14:04:57Z)
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning [6.1538971100140145]
ラベル相関フィードバックを高めるために,マルチタスク学習を用いた新しい手法を提案する。本稿では,ラベル相関学習を強化するための2つの補助ラベル共起予測タスクを提案する。
論文参考訳（メタデータ） (2021-06-06T12:26:14Z)
Label Confusion Learning to Enhance Text Classification Models [3.0251266104313643]
ラベル混乱モデル(lcm)はラベル間の意味的重複を捉えるためにラベル混乱を学習する。 lcmは、元のホットラベルベクトルを置き換えるより優れたラベル分布を生成することができる。 5つのテキスト分類ベンチマークデータセットの実験により、広く使われているディープラーニング分類モデルに対するLCMの有効性が明らかにされた。
論文参考訳（メタデータ） (2020-12-09T11:34:35Z)
PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。提案手法の有効性を,低データと高データの両方において示す。
論文参考訳（メタデータ） (2020-10-19T17:59:30Z)
Multi-Label Text Classification using Attention-based Graph Neural Network [0.0]
ラベル間の注意的依存構造を捉えるために,グラフアテンションネットワークに基づくモデルを提案する。提案モデルでは, 従来の最先端モデルと比較して, 類似あるいは良好な性能が得られた。
論文参考訳（メタデータ） (2020-03-22T17:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。