論文の概要: Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2502.20682v1
• Date: Fri, 28 Feb 2025 03:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:58.444716
• Title: Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis
• Title（参考訳）: 微視的映画レビューのための双方向LSTMを用いた微細チューニングBERT
• Authors: Gibson Nkhata, Susan Gauch, Usman Anjum, Justin Zhan,
• Abstract要約: 映画レビューにおいて,Bidirectional LSTM (BiLSTM) を用いて事前学習したBERTモデルを微調整し,バイナリと微細なSAを両立させる。 本稿では,ベンチマークデータセットを用いた二項分類ときめ細かな分類について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Sentiment Analysis (SA) is instrumental in understanding peoples viewpoints facilitating social media monitoring recognizing products and brands and gauging customer satisfaction. Consequently SA has evolved into an active research domain within Natural Language Processing (NLP). Many approaches outlined in the literature devise intricate frameworks aimed at achieving high accuracy, focusing exclusively on either binary sentiment classification or fine-grained sentiment classification. In this paper our objective is to fine-tune the pre-trained BERT model with Bidirectional LSTM (BiLSTM) to enhance both binary and fine-grained SA specifically for movie reviews. Our approach involves conducting sentiment classification for each review followed by computing the overall sentiment polarity across all reviews. We present our findings on binary classification as well as fine-grained classification utilizing benchmark datasets. Additionally we implement and assess two accuracy improvement techniques Synthetic Minority Oversampling Technique (SMOTE) and NLP Augmenter (NLPAUG) to bolster the models generalization in fine-grained sentiment classification. Finally a heuristic algorithm is employed to calculate the overall polarity of predicted reviews from the BERT+BiLSTM output vector. Our approach performs comparably with state-of-the-art (SOTA) techniques in both classifications. For instance in binary classification we achieve 97.67% accuracy surpassing the leading SOTA model NB-weighted-BON+dv-cosine by 0.27% on the renowned IMDb dataset. Conversely for five-class classification on SST-5 while the top SOTA model RoBERTa+large+Self-explaining attains 55.5% accuracy our model achieves 59.48% accuracy surpassing the BERT-large baseline by 3.6%.
• Abstract（参考訳）: センチメント分析(SA)は、製品やブランドを認識し、顧客満足度を高めるソーシャルメディアの監視を容易にする人々の視点を理解するのに役立ちます。 その結果、SAは自然言語処理(NLP)において活発な研究領域へと発展してきた。 文献で概説された多くのアプローチは、二分的感情分類またはきめ細かい感情分類にのみ焦点をあて、高い精度を達成することを目的とした複雑な枠組みを考案している。 本稿では,映画レビューに特化して,Bidirectional LSTM (BiLSTM) で事前学習したBERTモデルを微調整し,バイナリと微細なSAを両立させることを目的とする。 我々のアプローチでは、各レビューに対して感情分類を行い、その後、すべてのレビューで全体の感情極性を計算します。 本稿では,ベンチマークデータセットを用いた二項分類ときめ細かな分類について述べる。 さらに,SMOTE(Synthetic Minority Oversampling Technique)とNLP Augmenter(NLPAUG)の2つの精度向上手法を実装し,詳細な感情分類におけるモデルの一般化を促進する。 最後に、BERT+BiLSTM出力ベクトルから予測されたレビューの全体極性を計算するためにヒューリスティックアルゴリズムを用いる。 本手法は両分類において最先端技術(SOTA)技術と互換性がある。 例えばバイナリ分類では、主要なSOTAモデルであるNB-weighted-BON+dv-cosineを、有名なIMDbデータセットで0.27%上回る精度97.67%を達成する。 一方,SST-5の5クラス分類では,上位モデルのRoBERTa+large+Self-Explainingが55.5%の精度で,BERT-largeベースラインを3.6%上回る59.48%の精度を達成した。

関連論文リスト

• Adaptive Cyber-Attack Detection in IIoT Using Attention-Based LSTM-CNN Models [0.23408308015481666]
  本研究では,ハイブリッドLSTM畳み込みニューラルネットワーク(CNN)のアーキテクチャに基づく高度な侵入検出(IDS)の開発と評価を行う。 本研究は二項分類と多項分類という2つの重要な分類課題に焦点を当てている。 バイナリ分類では、モデルはほぼ完全な精度を達成し、マルチクラス分類では、高い精度 (99.04%) を維持し、様々な攻撃タイプを0.0220%の損失値で効果的に分類した。
  論文  参考訳（メタデータ） (2025-01-21T20:52:23Z)
• Multitask Fine-Tuning and Generative Adversarial Learning for Improved Auxiliary Classification [0.0]
  3つの下流タスクをマルチタスクで微調整するための新しいBERTアーキテクチャを実装した。 我々のモデルであるMultitask BERTは、レイヤ共有とトリプルトアーキテクチャ、カスタム文ペアトークン化、損失ペアリング、勾配手術を取り入れています。 また、BERTに生成逆学習を適用し、潜在空間から写像して偽の埋め込みを生成する条件付きジェネレータモデルを構築した。
  論文  参考訳（メタデータ） (2024-08-11T20:05:54Z)
• SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation [66.92696817276288]
  SemiRESは、RESを実行するためにラベル付きデータとラベルなしデータの組み合わせを効果的に活用する半教師付きフレームワークである。 SemiRESはSegment Anything Model (SAM) を組み込んでいる。 利用可能な候補と正確なマスクが一致しない場合、Pixel-Wise Adjustment(PWA)戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-03T15:42:30Z)
• An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder [0.0]
  自閉症スペクトラム障害(Autistic Spectrum disorder、ASD)は、社会的相互作用、コミュニケーション、反復活動の困難を特徴とする神経疾患である。 本研究は,診断プロセスの強化と自動化を目的として,多様な機械学習手法を用いて重要なASD特性を同定する。
  論文  参考訳（メタデータ） (2023-09-20T21:23:37Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
  Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。 すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。 提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
  論文  参考訳（メタデータ） (2022-03-23T11:43:29Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• NLRG at SemEval-2021 Task 5: Toxic Spans Detection Leveraging BERT-based Token Classification and Span Prediction Techniques [0.6850683267295249]
  本稿では,トークン分類やスパン予測手法の簡易バージョンについて検討する。 どちらのアプローチにもBERT、RoBERTa、SpanBERTといったBERTベースのモデルを使用します。 そこで本研究では,Multi-Span,Span+Token,LSTM-CRFの4つのハイブリッド手法と,ユニオン/インターセクションを用いた予測オフセットの組み合わせについて検討する。
  論文  参考訳（メタデータ） (2021-02-24T12:30:09Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Language Representation Models for Fine-Grained Sentiment Classification [2.1664197735413824]
  その結果、AlBERTは他のタスクよりもはるかに精度の低下を被っているのに対し、DistilBERTは他のタスクよりも精度の低下を被っていることがわかった。 我々は、RoBERTaがSST-5ルートレベル(60.2%)の予測のための新しい最先端の精度に達することを結論付けた。
  論文  参考訳（メタデータ） (2020-05-27T20:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。