論文の概要: BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives

• arxiv url: http://arxiv.org/abs/2201.03382v1
• Date: Mon, 10 Jan 2022 15:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 18:25:55.390677
• Title: BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives
• Title（参考訳）: 感性分析のためのBERT:事前訓練と微調整による代替品
• Authors: Frederico Souza, Jo\~ao Filho
• Abstract要約: BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。 本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: BERT has revolutionized the NLP field by enabling transfer learning with large language models that can capture complex textual patterns, reaching the state-of-the-art for an expressive number of NLP applications. For text classification tasks, BERT has already been extensively explored. However, aspects like how to better cope with the different embeddings provided by the BERT output layer and the usage of language-specific instead of multilingual models are not well studied in the literature, especially for the Brazilian Portuguese language. The purpose of this article is to conduct an extensive experimental study regarding different strategies for aggregating the features produced in the BERT output layer, with a focus on the sentiment analysis task. The experiments include BERT models trained with Brazilian Portuguese corpora and the multilingual version, contemplating multiple aggregation strategies and open-source datasets with predefined training, validation, and test partitions to facilitate the reproducibility of the results. BERT achieved the highest ROC-AUC values for the majority of cases as compared to TF-IDF. Nonetheless, TF-IDF represents a good trade-off between the predictive performance and computational cost.
• Abstract（参考訳）: BERTは、複雑なテキストパターンをキャプチャできる大規模な言語モデルによるトランスファー学習を可能にして、NLP分野に革命をもたらした。 テキスト分類タスクについては、BERTはすでに広く研究されている。 しかし、BERT出力層によって提供される異なる埋め込みにどのように対処するか、多言語モデルの代わりに言語固有の使用法は、文学、特にブラジルポルトガル語ではあまり研究されていない。 本論文の目的は,bert出力層で生成する特徴を集約するための異なる戦略について,感情分析タスクに着目して,広範な実験研究を行うことである。 この実験には、ブラジルのポルトガル語コーパスと多言語バージョンでトレーニングされたBERTモデルが含まれ、複数のアグリゲーション戦略とオープンソースのデータセットを事前定義されたトレーニング、検証、テストパーティションによって検討し、結果の再現性を促進する。 BERT は TF-IDF と比較して ROC-AUC の値が最も高かった。 それでも、TF-IDFは予測性能と計算コストのトレードオフとして優れている。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Comparison of Pre-trained Language Models for Turkish Address Parsing [0.0]
  トルコの地図データに着目し,多言語とトルコを基盤とするBERT, DistilBERT, ELECTRA, RoBERTaを徹底的に評価する。 また,一層ファインチューニングの標準的なアプローチに加えて,細調整BERTのためのMultiLayer Perceptron (MLP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T12:09:43Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis [0.0]
  CNNとXGBoostを用いて,ホテルドメインにおけるインドネシアのレビューに対するAspect-based Sentiment Analysis (ABSA) に関する研究を行った。 本稿では,インドネシアのレビューデータセットにおいて,最も先進的な言語表現モデルであるBERTをABSAに組み込むことを目的としている。
  論文  参考訳（メタデータ） (2021-03-05T15:05:51Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
  本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。 BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。 そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T12:34:52Z)
• Table Search Using a Deep Contextualized Language Model [20.041167804194707]
  本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。 本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
  論文  参考訳（メタデータ） (2020-05-19T04:18:04Z)
• Cross-lingual Information Retrieval with BERT [8.052497255948046]
  本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。 BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。 短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-24T23:32:13Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。