論文の概要: Language Representation Models for Fine-Grained Sentiment Classification
- arxiv url: http://arxiv.org/abs/2005.13619v1
- Date: Wed, 27 May 2020 20:01:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 08:56:07.174508
- Title: Language Representation Models for Fine-Grained Sentiment Classification
- Title(参考訳): きめ細かい感情分類のための言語表現モデル
- Authors: Brian Cheang, Bailey Wei, David Kogan, Howey Qiu, Masud Ahmed
- Abstract要約: その結果、AlBERTは他のタスクよりもはるかに精度の低下を被っているのに対し、DistilBERTは他のタスクよりも精度の低下を被っていることがわかった。
我々は、RoBERTaがSST-5ルートレベル(60.2%)の予測のための新しい最先端の精度に達することを結論付けた。
- 参考スコア(独自算出の注目度): 2.1664197735413824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentiment classification is a quickly advancing field of study with
applications in almost any field. While various models and datasets have shown
high accuracy inthe task of binary classification, the task of fine-grained
sentiment classification is still an area with room for significant
improvement. Analyzing the SST-5 dataset,previous work by Munikar et al. (2019)
showed that the embedding tool BERT allowed a simple model to achieve
state-of-the-art accuracy. Since that paper, several BERT alternatives have
been published, with three primary ones being AlBERT (Lan et al., 2019),
DistilBERT (Sanh et al. 2019), and RoBERTa (Liu etal. 2019). While these models
report some improvement over BERT on the popular benchmarks GLUE, SQuAD, and
RACE, they have not been applied to the fine-grained classification task. In
this paper, we examine whether the improvements hold true when applied to a
novel task, by replicating the BERT model from Munikar et al., and swapping the
embedding layer to the alternative models. Over the experiments, we found that
AlBERT suffers significantly more accuracy loss than reported on other tasks,
DistilBERT has accuracy loss similar to their reported loss on other tasks
while being the fastest model to train, and RoBERTa reaches anew
state-of-the-art accuracy for prediction on the SST-5 root level (60.2%).
- Abstract(参考訳): 知覚分類は、ほとんどあらゆる分野の応用で急速に進歩する研究分野である。
様々なモデルとデータセットはバイナリ分類のタスクにおいて高い精度を示しているが、きめ細かい感情分類のタスクは、依然として大幅な改善の余地のある領域である。
SST-5データセットの分析、Munikarらによる以前の研究(2019年)は、埋め込みツールBERTが単純なモデルで最先端の精度を達成できたことを示した。
この論文以降、いくつかのBERT代替案が出版され、主要なものはAlBERT (Lan et al., 2019)、DistilBERT (Sanh et al. 2019)、RoBERTa (Liu etal. 2019) である。
これらのモデルは、人気のあるベンチマークGLUE, SQuAD, RACEにおいてBERTよりもいくつかの改善が報告されているが、詳細な分類には適用されていない。
本稿では, 新たなタスクに適用した場合に, Munikar 等から BERT モデルを複製し, 埋め込み層を代替モデルに置き換えることにより, 改善が成立するかどうかを検討する。
実験の結果,AlBERTは他のタスクに比べて精度が著しく低下し,DistilBERTは他のタスクで報告した損失と同様の精度低下がみられ,RoBERTaはSST-5ルートレベル(60.2%)の予測に新たな最先端の精度に達した。
関連論文リスト
- Breaking the Token Barrier: Chunking and Convolution for Efficient Long
Text Classification with BERT [0.0]
変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。
BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。
本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
論文 参考訳(メタデータ) (2023-10-31T15:41:08Z) - Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。
元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
論文 参考訳(メタデータ) (2023-03-07T19:12:31Z) - Pretraining Without Attention [114.99187017618408]
本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。
BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
論文 参考訳(メタデータ) (2022-12-20T18:50:08Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - The Document Vectors Using Cosine Similarity Revisited [0.48733623015338234]
IMDBの映画レビューデータセットの現在の最先端テスト精度(97.42%)は、2019年の『citetthongtan-phienthrakul』センチメントによって報告された。
これまでに報告された97.42%の検定精度は無効であり、93.68%に補正されるべきである。
論文 参考訳(メタデータ) (2022-05-26T13:36:54Z) - Finding the Winning Ticket of BERT for Binary Text Classification via
Adaptive Layer Truncation before Fine-tuning [7.797987384189306]
BERTをベースとしたモデルのサイズの異なるモデルを構築し、それらの予測を8つのバイナリ分類タスクで比較する。
結果は、完全なモデルよりもパフォーマンスが良い小さなサブネットワークが存在することを示している。
論文 参考訳(メタデータ) (2021-11-22T02:22:47Z) - Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。
この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。
また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2021-10-12T17:58:59Z) - Semantic Answer Type Prediction using BERT: IAI at the ISWC SMART Task
2020 [24.56986827023303]
本稿では,ISWC 2020 ChallengeのSMARTタスクへの参加について要約する。
私たちが特に関心を持っている質問は、ニューラルメソッド、特にBERTのようなトランスフォーマーモデルが、回答型予測タスクでどのように機能するかである。
我々の主な発見は、粗い答え型を95%以上の精度で標準テキスト分類法で効果的に識別できることであり、BERTは限界的な改善しかたらさないことである。
論文 参考訳(メタデータ) (2021-09-14T14:27:49Z) - TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。
GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
論文 参考訳(メタデータ) (2020-09-27T10:17:28Z) - On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and
Strong Baselines [31.807628937487927]
BERTのような微調整済みの言語モデルは、様々なNLPベンチマークでリーダーボードを独占する一般的なプラクティスとなっている。
以前の文献では、破滅的な忘れ物と微調整データセットの小さなサイズの2つの潜在的な原因が明らかになった。
どちらの仮説も微調整の不安定性を説明できないことを示す。
論文 参考訳(メタデータ) (2020-06-08T19:06:24Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。