論文の概要: BERT-Flow-VAE: A Weakly-supervised Model for Multi-Label Text
Classification
- arxiv url: http://arxiv.org/abs/2210.15225v1
- Date: Thu, 27 Oct 2022 07:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 14:04:43.046290
- Title: BERT-Flow-VAE: A Weakly-supervised Model for Multi-Label Text
Classification
- Title(参考訳): BERT-Flow-VAE:マルチラベルテキスト分類のための弱教師付きモデル
- Authors: Ziwen Liu, Josep Grau-Bove, Scott Allan Orr
- Abstract要約: 本稿では,全監督の必要性を低減させる多ラベルテキスト分類モデルであるBERT-Flow-VAE(BFV)を提案する。
6つのマルチラベルデータセットの実験結果から、BFVは他のベースラインWSMLTCモデルをキーメトリクスで大幅に上回る結果が得られた。
- 参考スコア(独自算出の注目度): 0.5156484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-label Text Classification (MLTC) is the task of categorizing documents
into one or more topics. Considering the large volumes of data and varying
domains of such tasks, fully supervised learning requires manually fully
annotated datasets which is costly and time-consuming. In this paper, we
propose BERT-Flow-VAE (BFV), a Weakly-Supervised Multi-Label Text
Classification (WSMLTC) model that reduces the need for full supervision. This
new model (1) produces BERT sentence embeddings and calibrates them using a
flow model, (2) generates an initial topic-document matrix by averaging results
of a seeded sparse topic model and a textual entailment model which only
require surface name of topics and 4-6 seed words per topic, and (3) adopts a
VAE framework to reconstruct the embeddings under the guidance of the
topic-document matrix. Finally, (4) it uses the means produced by the encoder
model in the VAE architecture as predictions for MLTC. Experimental results on
6 multi-label datasets show that BFV can substantially outperform other
baseline WSMLTC models in key metrics and achieve approximately 84% performance
of a fully-supervised model.
- Abstract(参考訳): マルチラベルテキスト分類(MLTC)は、文書を1つ以上のトピックに分類するタスクである。
大量のデータと、そのタスクのさまざまなドメインを考えると、完全に教師ありの学習は、コストと時間を要する、手動で完全に注釈付きデータセットを必要とする。
本稿では,Wakly-Supervised Multi-Label Text Classification (WSMLTC)モデルであるBERT-Flow-VAE(BFV)を提案する。
本発明の新しいモデル(1)は、フローモデルを用いてBERT文の埋め込みと校正を行い、(2)シードされたスパーストピックモデルと、トピックの表面名とトピック毎の4-6のシードワードしか必要としないテキストentailmentモデルの結果を平均化することにより、初期トピック文書行列を生成し、(3)トピック文書行列のガイダンスに基づいて埋め込みを再構築するためのVAEフレームワークを採用する。
最後に、VAEアーキテクチャのエンコーダモデルによって生成された手段をMLTCの予測として使用する。
6つのマルチラベルデータセットの実験結果は、BFVが他のベースラインWSMLTCモデルをキーメトリクスで大幅に上回り、完全に教師されたモデルの約84%のパフォーマンスを達成することを示す。
関連論文リスト
- Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚的単語の概念を提案する。
さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
論文 参考訳(メタデータ) (2024-03-12T14:58:52Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - TDeLTA: A Light-weight and Robust Table Detection Method based on
Learning Text Arrangement [34.73880086005418]
本稿では,学習テキストアレンジメント(TDeLTA)に基づく新しい,軽量で堅牢なテーブル検出手法を提案する。
表を正確に特定するために,表内の意味的役割に応じてテキストブロックを4つのカテゴリに分類するテキスト分類タスクを設計する。
いくつかの最先端の手法と比較して、TDeLTAは大規模な公開データセットの3.1Mモデルパラメータで競合する結果を得る。
論文 参考訳(メタデータ) (2023-12-18T09:18:43Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳(メタデータ) (2023-03-31T03:17:23Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳(メタデータ) (2021-11-04T09:29:16Z) - PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document
Summarization [16.830963601598242]
要約に着目した多文書表現のための事前学習モデルであるPRIMERを提案する。
具体的には,マルチドキュメント入力に適した適切な入力変換とグローバルアテンションを備えたLongformerアーキテクチャを採用する。
私たちのモデルであるPRIMERは、これらのほとんどの設定において、現在の最先端モデルよりも大きなマージンでパフォーマンスします。
論文 参考訳(メタデータ) (2021-10-16T07:22:24Z) - VAULT: VAriable Unified Long Text Representation for Machine Reading
Comprehension [31.639069657951747]
機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。
長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
論文 参考訳(メタデータ) (2021-05-07T13:03:43Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - Students Need More Attention: BERT-based AttentionModel for Small Data
with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。
LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。
アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文 参考訳(メタデータ) (2020-06-22T03:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。