論文の概要: Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews

• arxiv url: http://arxiv.org/abs/2011.10426v1
• Date: Fri, 20 Nov 2020 14:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 05:14:38.298924
• Title: Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews
• Title（参考訳）: ベトナムレビューの感性分析のための微調整BERT
• Authors: Quoc Thai Nguyen, Thoai Linh Nguyen, Ngoc Hoang Luong, and Quoc Hung Ngo
• Abstract要約: 2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。 提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment analysis is an important task in the field ofNature Language Processing (NLP), in which users' feedbackdata on a specific issue are evaluated and analyzed. Manydeep learning models have been proposed to tackle this task, including the recently-introduced Bidirectional Encoder Rep-resentations from Transformers (BERT) model. In this paper,we experiment with two BERT fine-tuning methods for thesentiment analysis task on datasets of Vietnamese reviews: 1) a method that uses only the [CLS] token as the input for anattached feed-forward neural network, and 2) another methodin which all BERT output vectors are used as the input forclassification. Experimental results on two datasets show thatmodels using BERT slightly outperform other models usingGloVe and FastText. Also, regarding the datasets employed inthis study, our proposed BERT fine-tuning method produces amodel with better performance than the original BERT fine-tuning method.
• Abstract（参考訳）: 感性分析はNLP(Nature Language Processing)の分野で重要な課題であり,ユーザの特定の問題に対するフィードバックデータの評価と分析を行う。 最近導入された変換器(BERT)モデルによる双方向エンコーダのRep-resentationsなど、多くの深層学習モデルがこの問題に取り組むために提案されている。 本稿では,ベトナムのレビューデータセットに対する感性分析タスクのための2つのBERT微調整手法を実験した。 1)[CLS]トークンのみをアタッチメントフィードフォワードニューラルネットワークの入力として使用する方法 2)全てのBERT出力ベクトルを入力の分類として使用する別のメソッド。 2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。 また,本研究では,提案したBERTファインチューニング法を用いて,従来のBERTファインチューニング法よりも優れた性能を持つモデルを生成する。

関連論文リスト

• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis [0.0]
  本研究は、インドネシアの感情分析のためのBERT表現を用いた従来のハイブリッドディープラーニングを拡張した。 シミュレーションにより,BERT表現はすべてのハイブリッドアーキテクチャの精度を向上させることが示された。
  論文  参考訳（メタデータ） (2022-11-10T00:32:40Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• BERT based sentiment analysis: A software engineering perspective [0.9176056742068814]
  本稿では、感情分析のためのBERTモデルを分析するための3つの戦略を提案する。 実験結果から, BERTに基づくアンサンブル手法と圧縮BERTモデルにより, 3つのデータセットのF1測定ツールよりも6-12%向上したことがわかった。
  論文  参考訳（メタデータ） (2021-06-04T16:28:26Z)
• A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis [9.769870656657522]
  本稿は,まずスタンフォードの自然言語処理(NLP)ツールを用いて,大規模タグ付きデータに注釈を付ける。次に,新しいNLPモデルであるg-BERTを用いて,変換器(BERT)モデルから双方向表現を圧縮し,計算量を削減する。 実験の結果,g-BERTモデルの計算量が60%削減され,テストF1では2%向上し,BERTモデルと比較して96.5向上した。
  論文  参考訳（メタデータ） (2021-01-11T15:33:39Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。