論文の概要: Language Representation Models for Fine-Grained Sentiment Classification

• arxiv url: http://arxiv.org/abs/2005.13619v1
• Date: Wed, 27 May 2020 20:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 08:56:07.174508
• Title: Language Representation Models for Fine-Grained Sentiment Classification
• Title（参考訳）: きめ細かい感情分類のための言語表現モデル
• Authors: Brian Cheang, Bailey Wei, David Kogan, Howey Qiu, Masud Ahmed
• Abstract要約: その結果、AlBERTは他のタスクよりもはるかに精度の低下を被っているのに対し、DistilBERTは他のタスクよりも精度の低下を被っていることがわかった。 我々は、RoBERTaがSST-5ルートレベル(60.2%)の予測のための新しい最先端の精度に達することを結論付けた。
• 参考スコア（独自算出の注目度）: 2.1664197735413824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentiment classification is a quickly advancing field of study with applications in almost any field. While various models and datasets have shown high accuracy inthe task of binary classification, the task of fine-grained sentiment classification is still an area with room for significant improvement. Analyzing the SST-5 dataset,previous work by Munikar et al. (2019) showed that the embedding tool BERT allowed a simple model to achieve state-of-the-art accuracy. Since that paper, several BERT alternatives have been published, with three primary ones being AlBERT (Lan et al., 2019), DistilBERT (Sanh et al. 2019), and RoBERTa (Liu etal. 2019). While these models report some improvement over BERT on the popular benchmarks GLUE, SQuAD, and RACE, they have not been applied to the fine-grained classification task. In this paper, we examine whether the improvements hold true when applied to a novel task, by replicating the BERT model from Munikar et al., and swapping the embedding layer to the alternative models. Over the experiments, we found that AlBERT suffers significantly more accuracy loss than reported on other tasks, DistilBERT has accuracy loss similar to their reported loss on other tasks while being the fastest model to train, and RoBERTa reaches anew state-of-the-art accuracy for prediction on the SST-5 root level (60.2%).
• Abstract（参考訳）: 知覚分類は、ほとんどあらゆる分野の応用で急速に進歩する研究分野である。 様々なモデルとデータセットはバイナリ分類のタスクにおいて高い精度を示しているが、きめ細かい感情分類のタスクは、依然として大幅な改善の余地のある領域である。 SST-5データセットの分析、Munikarらによる以前の研究(2019年)は、埋め込みツールBERTが単純なモデルで最先端の精度を達成できたことを示した。 この論文以降、いくつかのBERT代替案が出版され、主要なものはAlBERT (Lan et al., 2019)、DistilBERT (Sanh et al. 2019)、RoBERTa (Liu etal. 2019) である。 これらのモデルは、人気のあるベンチマークGLUE, SQuAD, RACEにおいてBERTよりもいくつかの改善が報告されているが、詳細な分類には適用されていない。 本稿では, 新たなタスクに適用した場合に, Munikar 等から BERT モデルを複製し, 埋め込み層を代替モデルに置き換えることにより, 改善が成立するかどうかを検討する。 実験の結果,AlBERTは他のタスクに比べて精度が著しく低下し,DistilBERTは他のタスクで報告した損失と同様の精度低下がみられ,RoBERTaはSST-5ルートレベル(60.2%)の予測に新たな最先端の精度に達した。

関連論文リスト

• Multitask Fine-Tuning and Generative Adversarial Learning for Improved Auxiliary Classification [0.0]
  3つの下流タスクをマルチタスクで微調整するための新しいBERTアーキテクチャを実装した。 我々のモデルであるMultitask BERTは、レイヤ共有とトリプルトアーキテクチャ、カスタム文ペアトークン化、損失ペアリング、勾配手術を取り入れています。 また、BERTに生成逆学習を適用し、潜在空間から写像して偽の埋め込みを生成する条件付きジェネレータモデルを構築した。
  論文  参考訳（メタデータ） (2024-08-11T20:05:54Z)
• CEEBERT: Cross-Domain Inference in Early Exit BERT [5.402030962296633]
  CeeBERTは、中間層で観測されたドメイン固有の信頼度から最適な閾値を学習する。 CeeBERTは、BERT/ALBERTモデルを最小限の精度で、$2times$ -3.5times$でスピードアップすることができる。
  論文  参考訳（メタデータ） (2024-05-23T20:36:10Z)
• Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
  変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。 本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
  論文  参考訳（メタデータ） (2023-10-31T15:41:08Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• Finding the Winning Ticket of BERT for Binary Text Classification via Adaptive Layer Truncation before Fine-tuning [7.797987384189306]
  BERTをベースとしたモデルのサイズの異なるモデルを構築し、それらの予測を8つのバイナリ分類タスクで比較する。 結果は、完全なモデルよりもパフォーマンスが良い小さなサブネットワークが存在することを示している。
  論文  参考訳（メタデータ） (2021-11-22T02:22:47Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines [31.807628937487927]
  BERTのような微調整済みの言語モデルは、様々なNLPベンチマークでリーダーボードを独占する一般的なプラクティスとなっている。 以前の文献では、破滅的な忘れ物と微調整データセットの小さなサイズの2つの潜在的な原因が明らかになった。 どちらの仮説も微調整の不安定性を説明できないことを示す。
  論文  参考訳（メタデータ） (2020-06-08T19:06:24Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。