論文の概要: BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings
- arxiv url: http://arxiv.org/abs/2411.17661v2
- Date: Sun, 01 Dec 2024 17:10:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 13:36:05.766189
- Title: BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings
- Title（参考訳）: BERTかFastTextか? 文脈と非文脈埋め込みの比較分析
- Authors: Abhay Shanbhag, Suramya Jadhav, Amogh Thakurdesai, Ridhima Sinare, Raviraj Joshi,
- Abstract要約: 埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。
本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
- 参考スコア（独自算出の注目度）: 0.4194295877935868
- License:
- Abstract: Natural Language Processing (NLP) for low-resource languages presents significant challenges, particularly due to the scarcity of high-quality annotated data and linguistic resources. The choice of embeddings plays a critical role in enhancing the performance of NLP tasks, such as news classification, sentiment analysis, and hate speech detection, especially for low-resource languages like Marathi. In this study, we investigate the impact of various embedding techniques- Contextual BERT-based, Non-Contextual BERT-based, and FastText-based on NLP classification tasks specific to the Marathi language. Our research includes a thorough evaluation of both compressed and uncompressed embeddings, providing a comprehensive overview of how these embeddings perform across different scenarios. Specifically, we compare two BERT model embeddings, Muril and MahaBERT, as well as two FastText model embeddings, IndicFT and MahaFT. Our evaluation includes applying embeddings to a Multiple Logistic Regression (MLR) classifier for task performance assessment, as well as TSNE visualizations to observe the spatial distribution of these embeddings. The results demonstrate that contextual embeddings outperform non-contextual embeddings. Furthermore, BERT-based non-contextual embeddings extracted from the first BERT embedding layer yield better results than FastText-based embeddings, suggesting a potential alternative to FastText embeddings.
- Abstract（参考訳）: 低リソース言語のための自然言語処理(NLP)は、特に高品質な注釈付きデータや言語資源が不足しているため、大きな課題を呈している。
埋め込みの選択は、ニュース分類、感情分析、ヘイトスピーチ検出などのNLPタスクのパフォーマンスを高める上で重要な役割を担っている。
本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
我々の研究は、圧縮された埋め込みと非圧縮された埋め込みの両方を徹底的に評価することを含み、これらの埋め込みが様々なシナリオでどのように機能するかを包括的に概観する。
具体的には,MurilとMahaBERTの2つのBERTモデル埋め込みと,IndicFTとMahaFTの2つのFastTextモデル埋め込みを比較した。
本評価では,タスク性能評価のためのマルチロジスティック回帰(MLR)分類器への埋め込みの適用と,これらの埋め込みの空間分布を観察するためのTSNE可視化を含む。
その結果,文脈埋め込みは非文脈埋め込みよりも優れていた。
さらに、最初のBERT埋め込み層から抽出されたBERTベースの非コンテキスト埋め込みは、FastTextベースの埋め込みよりも優れた結果をもたらす。
関連論文リスト
- Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages [0.4499833362998489]
Chain of Translation Prompting (CoTR)は、低リソース言語における言語モデルの性能を高めるために設計された新しい戦略である。
CoTR再構成は、まず入力コンテキストを低リソース言語から高リソース言語に翻訳する。
本稿では,この手法の有効性を低リソースのインディア言語であるMarathiのケーススタディを通じて実証する。
論文 参考訳（メタデータ） (2024-09-06T17:15:17Z) - Enhancing Depressive Post Detection in Bangla: A Comparative Study of TF-IDF, BERT and FastText Embeddings [0.0]
本研究は,バングラにおける抑うつ的なソーシャルメディア投稿を識別する手法を提案する。
ドメインの専門家によって注釈付けされたこの研究で使用されるデータセットには、抑うつ的ポストと非抑うつ的ポストの両方が含まれている。
クラス不均衡の問題に対処するために,マイノリティクラスに対するランダムなオーバーサンプリングを利用した。
論文 参考訳（メタデータ） (2024-07-12T11:40:17Z) - MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。
本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。
提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
論文 参考訳（メタデータ） (2024-01-09T21:09:07Z) - BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。
本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文 参考訳（メタデータ） (2022-01-10T15:05:05Z) - Knowledge-Rich BERT Embeddings for Readability Assessment [0.0]
本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。
提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-06-15T07:37:48Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:35:22Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。
BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。
そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
論文 参考訳（メタデータ） (2020-06-02T12:34:52Z) - Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。
我々は,構文的 LM から単語の周辺分布を抽出する。
本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文 参考訳（メタデータ） (2020-05-27T16:44:01Z) - Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。
実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文 参考訳（メタデータ） (2020-04-15T03:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。