論文の概要: Evaluating Named Entity Recognition: Comparative Analysis of Mono- and Multilingual Transformer Models on Brazilian Corporate Earnings Call Transcriptions
- arxiv url: http://arxiv.org/abs/2403.12212v1
- Date: Mon, 18 Mar 2024 19:53:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:12:11.323553
- Title: Evaluating Named Entity Recognition: Comparative Analysis of Mono- and Multilingual Transformer Models on Brazilian Corporate Earnings Call Transcriptions
- Title（参考訳）: 名前付きエンティティ認識の評価:ブラジルのコーポレートオーナニングにおける単言語モデルと多言語トランスフォーマーモデルの比較分析
- Authors: Ramon Abilio, Guilherme Palermo Coelho, Ana Estela Antunes da Silva,
- Abstract要約: 本研究は,ブラジル銀行の決算報告書から抽出したポルトガル語テキストに焦点をあてる。
384文字からなる包括的データセットをキュレートすることにより、ポルトガル語で訓練された単言語モデルの性能を評価する。
以上の結果から,BERTベースモデルはT5ベースモデルより一貫して優れていた。
- 参考スコア（独自算出の注目度）: 3.809702129519642
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Named Entity Recognition (NER) is a Natural Language Processing technique for extracting information from textual documents. However, much of the existing research on NER has been centered around English-language documents, leaving a gap in the availability of datasets tailored to the financial domain in Portuguese. This study addresses the need for NER within the financial domain, focusing on Portuguese-language texts extracted from earnings call transcriptions of Brazilian banks. By curating a comprehensive dataset comprising 384 transcriptions and leveraging weak supervision techniques for annotation, we evaluate the performance of monolingual models trained on Portuguese (BERTimbau and PTT5) and multilingual models (mBERT and mT5). Notably, we introduce a novel approach that reframes the token classification task as a text generation problem, enabling fine-tuning and evaluation of T5 models. Following the fine-tuning of the models, we conduct an evaluation on the test dataset, employing performance and error metrics. Our findings reveal that BERT-based models consistently outperform T5-based models. Furthermore, while the multilingual models exhibit comparable macro F1-scores, BERTimbau demonstrates superior performance over PTT5. A manual analysis of sentences generated by PTT5 and mT5 unveils a degree of similarity ranging from 0.89 to 1.0, between the original and generated sentences. However, critical errors emerge as both models exhibit discrepancies, such as alterations to monetary and percentage values, underscoring the importance of accuracy and consistency in the financial domain. Despite these challenges, PTT5 and mT5 achieve impressive macro F1-scores of 98.52% and 98.85%, respectively, with our proposed approach. Furthermore, our study sheds light on notable disparities in memory and time consumption for inference across the models.
- Abstract（参考訳）: 名前付きエンティティ認識(NER)は、テキスト文書から情報を抽出する自然言語処理技術である。
しかし、NERに関する既存の研究の多くは英語の文書を中心にしており、ポルトガルの金融ドメインに合わせたデータセットの入手率の差を残している。
本研究は、ブラジルの銀行の決算報告から抽出したポルトガル語テキストに着目し、金融分野におけるNERの必要性に対処するものである。
384文字からなる包括的データセットの収集とアノテーションの弱監督手法の活用により,ポルトガル語で訓練された単言語モデル(BERTimbau, PTT5)と多言語モデル(mBERT, mT5)の性能評価を行った。
特に,トークン分類タスクをテキスト生成問題として再編成し,T5モデルの微調整と評価を可能にする手法を提案する。
モデルの微調整に続いて、テストデータセットの評価を行い、パフォーマンスとエラーのメトリクスを利用する。
以上の結果から,BERTベースモデルはT5ベースモデルより一貫して優れていた。
さらに,マルチ言語モデルはマクロF1スコアに匹敵する性能を示したが,BERTimbauはPTT5よりも優れた性能を示した。
PTT5 と mT5 が生成した文のマニュアル解析では、元の文と生成された文の間に 0.89 から 1.0 までの類似度が示される。
しかし、両モデルとも通貨やパーセンテージの値の変更など、金融分野における正確性や整合性の重要性を裏付ける不一致を示すため、重大なエラーが発生する。
これらの課題にもかかわらず、PTT5とmT5はそれぞれ98.52%と98.85%という印象的なマクロF1スコアを達成した。
さらに,本研究では,モデル間の推論において,メモリと時間消費の顕著な相違点に光を当てた。
関連論文リスト
- BERT vs GPT for financial engineering [0.0]
論文は、これらのモデルがニュースイベントから感情を判断する方法を示すために、いくつかのTransformerモデルをベンチマークする。
細調整されたBERTモデルは,細調整されたGPTモデルやバニラGPTモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-04-24T11:30:04Z) - A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。
我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。
同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
論文 参考訳（メタデータ） (2023-12-06T09:37:27Z) - On Robustness of Finetuned Transformer-based NLP Models [11.063628128069736]
CKAとSTIRの2つの指標を用いて、事前訓練された言語モデルと微調整された言語モデル間の変化を特徴付ける。
GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。
この研究は、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-05-23T18:25:18Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳（メタデータ） (2023-03-13T17:12:03Z) - Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5
for Machine Translation [9.736284584478032]
特に微調整データに制限がある場合の翻訳における文字レベルのモデリングの有効性を示す。
モデル予測の駆動におけるソーステキストの重要性を評価する一方で,ByT5内の単語レベルのパターンを強調した。
我々は、バイトモデルの効率トレードオフを評価し、翻訳品質を高めるために、非時間クリティカルなシナリオでの使用法を提案する。
論文 参考訳（メタデータ） (2023-02-28T00:50:19Z) - idT5: Indonesian Version of Multilingual T5 Transformer [0.0]
インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。
本研究では,mT5モデルがインドネシア語にのみ適用され,インドネシア語のみに限定した訓練済みのT5モデルが得られた。
本モデルに基づく微調整モデルでは,SAでは77.18%,mT5モデルより8%高い精度を示し,QGおよびQAではmT5モデルとほぼ同じスコアを得た。
論文 参考訳（メタデータ） (2023-02-02T03:56:16Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳（メタデータ） (2022-05-18T09:17:14Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳（メタデータ） (2021-03-31T09:05:43Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。
101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文 参考訳（メタデータ） (2020-10-22T17:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。