論文の概要: Comparative Study of Pre-Trained BERT Models for Code-Mixed Hindi-English Data

• arxiv url: http://arxiv.org/abs/2305.15722v2
• Date: Fri, 26 May 2023 06:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 10:43:07.794518
• Title: Comparative Study of Pre-Trained BERT Models for Code-Mixed Hindi-English Data
• Title（参考訳）: 符号混合ヒンディー語データに対する事前学習BERTモデルの比較検討
• Authors: Aryan Patil, Varad Patwardhan, Abhishek Phaltankar, Gauri Takawane, Raviraj Joshi
• Abstract要約: コードミックス(Code Mixed)とは、複数の言語を同一のテキストで使用すること。 本研究では、低リソースのヒンディー語-英語のコード混合言語に焦点を当てる。 我々は,HingBERTに基づくモデルを用いて,各データセットの最先端結果について報告する。
• 参考スコア（独自算出の注目度）: 0.7874708385247353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The term "Code Mixed" refers to the use of more than one language in the same text. This phenomenon is predominantly observed on social media platforms, with an increasing amount of adaptation as time goes on. It is critical to detect foreign elements in a language and process them correctly, as a considerable number of individuals are using code-mixed languages that could not be comprehended by understanding one of those languages. In this work, we focus on low-resource Hindi-English code-mixed language and enhancing the performance of different code-mixed natural language processing tasks such as sentiment analysis, emotion recognition, and hate speech identification. We perform a comparative analysis of different Transformer-based language Models pre-trained using unsupervised approaches. We have included the code-mixed models like HingBERT, HingRoBERTa, HingRoBERTa-Mixed, mBERT, and non-code-mixed models like AlBERT, BERT, and RoBERTa for comparative analysis of code-mixed Hindi-English downstream tasks. We report state-of-the-art results on respective datasets using HingBERT-based models which are specifically pre-trained on real code-mixed text. Our HingBERT-based models provide significant improvements thus highlighting the poor performance of vanilla BERT models on code-mixed text.
• Abstract（参考訳）: コード混合」という用語は、同じテキストで複数の言語を使用することを指す。 この現象は、主にソーシャルメディアプラットフォームで観察され、時間が経つにつれて順応が増加している。 かなりの数の人が、それらの言語の1つを理解することで理解できないコード混合言語を使用しているため、言語の外部要素を検出し、それらを正しく処理することが重要である。 本研究では,低リソースのヒンズー英語コード混合言語に注目し,感情分析,感情認識,ヘイトスピーチ認識など,異なるコード混合自然言語処理タスクの性能を向上させる。 教師なしアプローチを用いて事前学習したトランスフォーマー言語モデルの比較分析を行う。 我々は、コードミックスされたHingBERT、HingRoBERTa、HingRoBERTa-Mixed、mBERT、コードミックスされたAlBERT、BERT、RoBERTaといった非コードミックスモデルを含む。 我々は,HingBERTベースのモデルを用いて,実コード混合テキストで事前学習した各データセットの最先端結果について報告する。 HingBERTベースのモデルは大幅に改善され、コードミックステキスト上でのバニラBERTモデルの低パフォーマンスが強調されます。

関連論文リスト

• From Human Judgements to Predictive Models: Unravelling Acceptability in Code-Mixed Sentences [18.53327811304381]
  コード混在テキストの受理性に関する人間の判断をモデル化することは、自然なコード混在テキストの識別に役立ちます。 クラインは16,642文のタイプの中で最大であり、2つの情報源から得られたサンプルで構成されている。 Clineを用いた実験では、コードミキシングのメトリクスのみに基づいて訓練された単純な多層パーセプトロン(MLP)モデルが、微調整された多言語大言語モデル(MLLM)より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-09T06:40:39Z)
• Mixed-Distil-BERT: Code-mixed Language Modeling for Bangla, English, and Hindi [0.0]
  我々は、バングラ語、英語、ヒンディー語で事前訓練された多言語モデルTri-Distil-BERTと、コードミックスデータに基づいて微調整されたMixed-Distil-BERTを紹介する。 我々の2層事前学習アプローチは、多言語およびコード混在言語理解のための効率的な代替手段を提供する。
  論文  参考訳（メタデータ） (2023-09-19T02:59:41Z)
• Leveraging Language Identification to Enhance Code-Mixed Text Classification [0.7340017786387767]
  既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。 本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
  論文  参考訳（メタデータ） (2023-06-08T06:43:10Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• L3Cube-HingCorpus and HingBERT: A Code Mixed Hindi-English Dataset and BERT Language Models [1.14219428942199]
  L3Cube-HingCorpusは,ローマ文字で最初の大規模実ヒンディー語混成データである。 GLUECoSベンチマークから,コード混合感情分析,POSタグ付け,NER,LIDなどの下流タスクに対するBERTモデルの有効性を示す。
  論文  参考訳（メタデータ） (2022-04-18T16:49:59Z)
• Language Identification of Hindi-English tweets using code-mixed BERT [0.0]
  この研究は、ヒンディー語-英語-ウルドゥー語混成テキストのデータ収集を言語事前学習に利用し、ヒンディー語-英語混成テキストはその後の単語レベルの言語分類に利用している。 その結果、コードミックスデータ上で事前学習された表現は、モノリンガルデータによるより良い結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-07-02T17:51:36Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。