Fugu-MT 論文翻訳(概要): RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis

論文の概要: RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis

arxiv url: http://arxiv.org/abs/2406.00367v1
Date: Sat, 1 Jun 2024 08:59:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 07:24:46.707981
Title: RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis
Title（参考訳）: RoBERTa-BiLSTM:知覚分析のためのコンテキスト認識ハイブリッドモデル
Authors: Md. Mostafizer Rahman, Ariful Islam Shiplu, Yutaka Watanobe, Md. Ashad Alam,
Abstract要約: 本稿では,ロバスト最適化BERT事前学習手法(RoBERTa)とBilong Short-Term Memory(BiLSTM)ネットワークを組み合わせたハイブリッドディープラーニングモデルRoBERTa-BiLSTMを提案する。 RoBERTaは意味のある単語埋め込みベクトルを生成するのに使われ、BiLSTMは長文の文脈意味を効果的に捉えている。我々は、IMDb、Twitter US Airline、Sentiment140のデータセットを用いて、既存の最先端手法に対して提案したモデルを評価する実験を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Effectively analyzing the comments to uncover latent intentions holds immense value in making strategic decisions across various domains. However, several challenges hinder the process of sentiment analysis including the lexical diversity exhibited in comments, the presence of long dependencies within the text, encountering unknown symbols and words, and dealing with imbalanced datasets. Moreover, existing sentiment analysis tasks mostly leveraged sequential models to encode the long dependent texts and it requires longer execution time as it processes the text sequentially. In contrast, the Transformer requires less execution time due to its parallel processing nature. In this work, we introduce a novel hybrid deep learning model, RoBERTa-BiLSTM, which combines the Robustly Optimized BERT Pretraining Approach (RoBERTa) with Bidirectional Long Short-Term Memory (BiLSTM) networks. RoBERTa is utilized to generate meaningful word embedding vectors, while BiLSTM effectively captures the contextual semantics of long-dependent texts. The RoBERTa-BiLSTM hybrid model leverages the strengths of both sequential and Transformer models to enhance performance in sentiment analysis. We conducted experiments using datasets from IMDb, Twitter US Airline, and Sentiment140 to evaluate the proposed model against existing state-of-the-art methods. Our experimental findings demonstrate that the RoBERTa-BiLSTM model surpasses baseline models (e.g., BERT, RoBERTa-base, RoBERTa-GRU, and RoBERTa-LSTM), achieving accuracies of 80.74%, 92.36%, and 82.25% on the Twitter US Airline, IMDb, and Sentiment140 datasets, respectively. Additionally, the model achieves F1-scores of 80.73%, 92.35%, and 82.25% on the same datasets, respectively.
Abstract（参考訳）: 潜在的な意図を明らかにするためにコメントを効果的に分析することは、さまざまな領域で戦略的決定を行う上で大きな価値を持つ。しかし、コメントに現れる語彙の多様性、テキスト内に長い依存が存在すること、未知の記号や単語に遭遇すること、不均衡なデータセットを扱うことなど、感情分析のプロセスを妨げるいくつかの課題がある。さらに、既存の感情分析タスクは、主にシーケンシャルモデルを利用して、長い依存するテキストをエンコードし、テキストをシーケンシャルに処理する際には、実行時間が長い。対照的に、Transformerは並列処理の性質のため実行時間が少ない。本研究では,ロバスト最適化BERT事前学習手法(RoBERTa)とBidirectional Long Short-Term Memory(BiLSTM)ネットワークを組み合わせたハイブリッドディープラーニングモデルRoBERTa-BiLSTMを提案する。 RoBERTaは意味のある単語埋め込みベクトルを生成するのに使われ、BiLSTMは長文の文脈意味を効果的にキャプチャする。 RoBERTa-BiLSTMハイブリッドモデルは、シーケンシャルモデルとトランスフォーマーモデルの長所を利用して、感情分析のパフォーマンスを向上させる。我々は、IMDb、Twitter US Airline、Sentiment140のデータセットを用いて、既存の最先端手法に対して提案したモデルを評価する実験を行った。実験の結果,RoBERTa-BiLSTMモデルはベースラインモデル(例えばBERT,RoBERTa-base,RoBERTa-GRU,RoBERTa-LSTM)を超え,Twitter US Airline,IMDb,Sentiment140データセットの80.74%,92.36%,82.25%の精度を達成した。さらに、同じデータセットでそれぞれ80.73%、92.35%、82.25%のF1スコアを達成する。

関連論文リスト

Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
論文参考訳（メタデータ） (2024-10-19T08:39:21Z)
LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-06-02T03:34:41Z)
A hybrid transformer and attention based recurrent neural network for robust and interpretable sentiment analysis of tweets [0.3495246564946556]
既存のモデルは言語的多様性、一般化可能性、説明可能性に関する課題に直面している。本稿では,トランスフォーマーアーキテクチャ,アテンション機構,BiLSTMネットワークを統合したハイブリッドフレームワークTRABSAを提案する。感情分析ベンチマークのギャップを埋め、最先端の精度を確保します。
論文参考訳（メタデータ） (2024-03-30T09:20:43Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文参考訳（メタデータ） (2023-06-08T15:25:24Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文参考訳（メタデータ） (2021-01-05T18:11:29Z)
Transformer-based Multi-Aspect Modeling for Multi-Aspect Multi-Sentiment Analysis [56.893393134328996]
本稿では,複数の側面間の潜在的な関係を抽出し,文中のすべての側面の感情を同時に検出できるトランスフォーマーベースのマルチアスペクトモデリング手法を提案する。本手法はBERTやRoBERTaといった強力なベースラインと比較して顕著な改善を実現している。
論文参考訳（メタデータ） (2020-11-01T11:06:31Z)
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文参考訳（メタデータ） (2020-05-08T12:50:10Z)
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding [18.526060699574142]
Bidirectional Representations from Transformers (BERT)は、最近、幅広いNLPタスクで最先端のパフォーマンスを達成した。本稿では,BLSTM層を各トランスブロックに統合したBLSTM(TRANS-BLSTM)を用いたTransformerというアーキテクチャを提案する。本研究では,Trans-BLSTMモデルがGLUEおよびSQuAD 1.1実験のBERTベースラインと比較して常に精度の向上につながることを示す。
論文参考訳（メタデータ） (2020-03-16T03:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。