Fugu-MT 論文翻訳(概要): Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis

論文の概要: Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis

arxiv url: http://arxiv.org/abs/2103.03732v1
Date: Fri, 5 Mar 2021 15:05:51 GMT
ステータス: 処理完了
システム内更新日: 2021-03-08 21:59:04.662314
Title: Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis
Title（参考訳）: インドネシアのアスペクトベース感性分析のための微調整事前訓練多言語BERTモデル
Authors: Annisa Nurul Azhar and Masayu Leylia Khodra
Abstract要約: CNNとXGBoostを用いて,ホテルドメインにおけるインドネシアのレビューに対するAspect-based Sentiment Analysis (ABSA) に関する研究を行った。本稿では,インドネシアのレビューデータセットにおいて,最も先進的な言語表現モデルであるBERTをABSAに組み込むことを目的としている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Although previous research on Aspect-based Sentiment Analysis (ABSA) for Indonesian reviews in hotel domain has been conducted using CNN and XGBoost, its model did not generalize well in test data and high number of OOV words contributed to misclassification cases. Nowadays, most state-of-the-art results for wide array of NLP tasks are achieved by utilizing pretrained language representation. In this paper, we intend to incorporate one of the foremost language representation model, BERT, to perform ABSA in Indonesian reviews dataset. By combining multilingual BERT (m-BERT) with task transformation method, we manage to achieve significant improvement by 8% on the F1-score compared to the result from our previous study.
Abstract（参考訳）: ホテルドメインにおけるインドネシア語レビューに対するAspect-based Sentiment Analysis (ABSA) に関する以前の研究はCNNとXGBoostを用いて実施されているが、そのモデルはテストデータではあまり一般化されておらず、OOVワードの多さは誤分類事件に貢献した。現在、多くのNLPタスクに対する最先端の成果は、事前訓練された言語表現を利用することで達成されている。本稿では,インドネシアのレビューデータセットにおいて,最も先進的な言語表現モデルであるBERTをABSAに組み込むことを目的としている。マルチリンガルBERT(m-BERT)とタスク変換法を組み合わせることで、これまでの研究結果と比較して、F1スコアで8%の大幅な改善を達成しました。

関連論文リスト

The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
A deep Natural Language Inference predictor without language-specific training data [44.26507854087991]
本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
論文参考訳（メタデータ） (2023-09-06T10:20:59Z)
Comparison of Pre-trained Language Models for Turkish Address Parsing [0.0]
トルコの地図データに着目し,多言語とトルコを基盤とするBERT, DistilBERT, ELECTRA, RoBERTaを徹底的に評価する。また,一層ファインチューニングの標準的なアプローチに加えて,細調整BERTのためのMultiLayer Perceptron (MLP)を提案する。
論文参考訳（メタデータ） (2023-06-24T12:09:43Z)
Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文参考訳（メタデータ） (2023-04-24T08:53:54Z)
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文参考訳（メタデータ） (2022-04-14T08:16:28Z)
Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
論文参考訳（メタデータ） (2022-03-30T14:48:46Z)
BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文参考訳（メタデータ） (2022-01-10T15:05:05Z)
Arabic aspect based sentiment analysis using BERT [0.0]
本稿では、BERTのような事前訓練された言語モデルからのコンテキスト埋め込みのモデリング機能について述べる。我々は、このタスクに対処するために、シンプルだが効果的なBERTベースの神経ベースラインを構築しています。実験結果によると, 単純な線形分類層を持つBERTアーキテクチャは, 最先端の成果を上回った。
論文参考訳（メタデータ） (2021-07-28T11:34:00Z)
Exploiting BERT to improve aspect-based sentiment analysis performance on Persian language [0.0]
本研究では,事前学習したBERTモデルを用いて,ABSAタスクにおける文ペア入力を活用する可能性を示す。その結果,Pars-BERT事前学習モデルと自然言語推論助文(NLI-M)を用いることで,ABSAタスクの精度が91%向上することが示唆された。
論文参考訳（メタデータ） (2020-12-02T16:47:20Z)
Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文参考訳（メタデータ） (2020-10-18T00:21:53Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。