論文の概要: A Comparison of SVM against Pre-trained Language Models (PLMs) for Text
Classification Tasks
- arxiv url: http://arxiv.org/abs/2211.02563v1
- Date: Fri, 4 Nov 2022 16:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 15:59:11.322690
- Title: A Comparison of SVM against Pre-trained Language Models (PLMs) for Text
Classification Tasks
- Title(参考訳): テキスト分類作業における事前学習言語モデル(PLM)に対するSVMの比較
- Authors: Yasmen Wahba, Nazim Madhavji, John Steinbacher
- Abstract要約: ドメイン固有のコーパスでは、特定のタスクのために事前訓練されたモデルを微調整することで、パフォーマンスが向上することを示した。
3つのパブリックドメインフリーデータセットとドメイン固有の単語を含む実世界のデータセットにおける4つの異なるPLMの性能を比較した。
- 参考スコア(独自算出の注目度): 1.2934180951771599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of pre-trained language models (PLMs) has shown great success
in many Natural Language Processing (NLP) tasks including text classification.
Due to the minimal to no feature engineering required when using these models,
PLMs are becoming the de facto choice for any NLP task. However, for
domain-specific corpora (e.g., financial, legal, and industrial), fine-tuning a
pre-trained model for a specific task has shown to provide a performance
improvement. In this paper, we compare the performance of four different PLMs
on three public domain-free datasets and a real-world dataset containing
domain-specific words, against a simple SVM linear classifier with TFIDF
vectorized text. The experimental results on the four datasets show that using
PLMs, even fine-tuned, do not provide significant gain over the linear SVM
classifier. Hence, we recommend that for text classification tasks, traditional
SVM along with careful feature engineering can pro-vide a cheaper and superior
performance than PLMs.
- Abstract(参考訳): 事前学習された言語モデル(PLM)の出現は、テキスト分類を含む多くの自然言語処理(NLP)タスクで大きな成功を収めている。
これらのモデルを使用する場合、最小限から不要な機能エンジニアリングのため、plmはあらゆるnlpタスクのデファクト選択となっている。
しかし、ドメイン固有のコーパス(例えば、財務、法律、産業)では、特定のタスクのための事前訓練されたモデルを微調整することで、パフォーマンスの向上が示されている。
本稿では,3つのパブリックドメインフリーデータセットとドメイン固有語を含む実世界のデータセットに対する4つの異なるPLMの性能を,TFIDFベクトル化テキストを用いた単純なSVM線形分類器と比較する。
4つのデータセットの実験結果から, PLMは細調整でも線形SVM分類器よりも大きな利得は得られないことがわかった。
したがって、テキスト分類タスクでは、従来のSVMと注意深い機能エンジニアリングが、PLMよりも安価で優れたパフォーマンスを証明できることを推奨する。
関連論文リスト
- TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳(メタデータ) (2023-03-31T03:17:23Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳(メタデータ) (2022-11-18T15:09:03Z) - Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。
ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。
DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文 参考訳(メタデータ) (2022-05-23T10:11:50Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient
Framework [10.656788279434798]
本稿では,大規模事前学習に依存しない,シンプルで効率的な学習フレームワーク TLM を提案する。
4つの領域の8つの分類データセットにおいて、TLMは事前訓練された言語モデルよりも良い結果が得られる。
論文 参考訳(メタデータ) (2021-11-07T17:13:59Z) - Frustratingly Simple Pretraining Alternatives to Masked Language
Modeling [10.732163031244651]
Masked Language Modeling (MLM) は自然言語処理においてテキスト表現の学習に広く用いられている。
本稿では,トークンレベルの分類タスクを表現の代替として用いた5つの簡単な事前学習目標について検討する。
論文 参考訳(メタデータ) (2021-09-04T08:52:37Z) - CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of
Pre-trained Language Models [59.49705076369856]
プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。
大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。
次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
論文 参考訳(メタデータ) (2021-02-07T09:27:26Z) - Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining [37.2106265998237]
メタファインチューニング(MFT)と呼ばれる効果的な学習手法を提案する。
MFTは、ニューラルネットワークモデルのための同様のNLPタスクのグループを解決するためのメタラーナーとして機能する。
BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。
論文 参考訳(メタデータ) (2020-03-29T11:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。