論文の概要: BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings
- arxiv url: http://arxiv.org/abs/2411.17661v2
- Date: Sun, 01 Dec 2024 17:10:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 13:36:05.766189
- Title: BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings
- Title（参考訳）: BERTかFastTextか? 文脈と非文脈埋め込みの比較分析
- Authors: Abhay Shanbhag, Suramya Jadhav, Amogh Thakurdesai, Ridhima Sinare, Raviraj Joshi,
- Abstract要約: 埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。
本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
- 参考スコア（独自算出の注目度）: 0.4194295877935868
- License:
- Abstract: Natural Language Processing (NLP) for low-resource languages presents significant challenges, particularly due to the scarcity of high-quality annotated data and linguistic resources. The choice of embeddings plays a critical role in enhancing the performance of NLP tasks, such as news classification, sentiment analysis, and hate speech detection, especially for low-resource languages like Marathi. In this study, we investigate the impact of various embedding techniques- Contextual BERT-based, Non-Contextual BERT-based, and FastText-based on NLP classification tasks specific to the Marathi language. Our research includes a thorough evaluation of both compressed and uncompressed embeddings, providing a comprehensive overview of how these embeddings perform across different scenarios. Specifically, we compare two BERT model embeddings, Muril and MahaBERT, as well as two FastText model embeddings, IndicFT and MahaFT. Our evaluation includes applying embeddings to a Multiple Logistic Regression (MLR) classifier for task performance assessment, as well as TSNE visualizations to observe the spatial distribution of these embeddings. The results demonstrate that contextual embeddings outperform non-contextual embeddings. Furthermore, BERT-based non-contextual embeddings extracted from the first BERT embedding layer yield better results than FastText-based embeddings, suggesting a potential alternative to FastText embeddings.
- Abstract（参考訳）: 低リソース言語のための自然言語処理(NLP)は、特に高品質な注釈付きデータや言語資源が不足しているため、大きな課題を呈している。
埋め込みの選択は、ニュース分類、感情分析、ヘイトスピーチ検出などのNLPタスクのパフォーマンスを高める上で重要な役割を担っている。
本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
我々の研究は、圧縮された埋め込みと非圧縮された埋め込みの両方を徹底的に評価することを含み、これらの埋め込みが様々なシナリオでどのように機能するかを包括的に概観する。
具体的には,MurilとMahaBERTの2つのBERTモデル埋め込みと,IndicFTとMahaFTの2つのFastTextモデル埋め込みを比較した。
本評価では,タスク性能評価のためのマルチロジスティック回帰(MLR)分類器への埋め込みの適用と,これらの埋め込みの空間分布を観察するためのTSNE可視化を含む。
その結果,文脈埋め込みは非文脈埋め込みよりも優れていた。
さらに、最初のBERT埋め込み層から抽出されたBERTベースの非コンテキスト埋め込みは、FastTextベースの埋め込みよりも優れた結果をもたらす。
関連論文リスト
- A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。
データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。
その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
論文 参考訳（メタデータ） (2024-09-04T13:49:45Z) - MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。
本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。
提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
論文 参考訳（メタデータ） (2024-01-09T21:09:07Z) - Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-31T02:13:18Z) - Visually-augmented pretrained language models for NLP tasks without
images [77.74849855049523]
既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。
我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。
我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
論文 参考訳（メタデータ） (2022-12-15T16:13:25Z) - BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。
本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文 参考訳（メタデータ） (2022-01-10T15:05:05Z) - Evaluation of BERT and ALBERT Sentence Embedding Performance on
Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。
我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文 参考訳（メタデータ） (2021-01-26T09:14:06Z) - GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight
Gated Injection Method [29.352569563032056]
本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。
依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
論文 参考訳（メタデータ） (2020-10-23T17:00:26Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - Table Search Using a Deep Contextualized Language Model [20.041167804194707]
本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。
本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
論文 参考訳（メタデータ） (2020-05-19T04:18:04Z) - Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。
実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文 参考訳（メタデータ） (2020-04-15T03:57:45Z) - Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。
我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-02-17T08:13:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。