論文の概要: PuoBERTa: Training and evaluation of a curated language model for Setswana

• arxiv url: http://arxiv.org/abs/2310.09141v1
• Date: Fri, 13 Oct 2023 14:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 12:40:11.770409
• Title: PuoBERTa: Training and evaluation of a curated language model for Setswana
• Title（参考訳）: PuoBERTa:セツワナのキュレート言語モデルの訓練と評価
• Authors: Vukosi Marivate, Moseli Mots'Oehli, Valencia Wagner, Richard Lastrucci and Isheanesu Dzingirai
• Abstract要約: PuoBERTaは、セツワナで特別に訓練されたカスタマイズ言語モデルである。 我々はPuoBERTaの訓練のための高品質なコーパスを生成するために、多種多様な単言語テキストを収集し、キュレートし、準備した。
• 参考スコア（独自算出の注目度）: 0.27314498937806636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language processing (NLP) has made significant progress for well-resourced languages such as English but lagged behind for low-resource languages like Setswana. This paper addresses this gap by presenting PuoBERTa, a customised masked language model trained specifically for Setswana. We cover how we collected, curated, and prepared diverse monolingual texts to generate a high-quality corpus for PuoBERTa's training. Building upon previous efforts in creating monolingual resources for Setswana, we evaluated PuoBERTa across several NLP tasks, including part-of-speech (POS) tagging, named entity recognition (NER), and news categorisation. Additionally, we introduced a new Setswana news categorisation dataset and provided the initial benchmarks using PuoBERTa. Our work demonstrates the efficacy of PuoBERTa in fostering NLP capabilities for understudied languages like Setswana and paves the way for future research directions.
• Abstract（参考訳）: 自然言語処理(NLP)は、Setswanaのような低リソース言語では遅れを取っているが、英語のような豊富なリソース言語では大きな進歩を遂げている。 本稿では,seswana用に特別に訓練されたカスタマイズされたマスキング言語モデルpuobertaについて述べる。 我々は,PuoBERTaのトレーニングのための高品質なコーパスを生成するために,多種多様なモノリンガルテキストの収集,キュレート,準備を行った。 setwanaのためのモノリンガルリソースの作成に先立って,part-of-speech(pos)タグ,named entity recognition(ner),news categorizationなど,いくつかのnlpタスクでpuobertaを評価した。 さらに、新しいセツワナニュース分類データセットを導入し、PuoBERTaを使った初期ベンチマークを提供した。 我々の研究は、セツワナのような未調査言語に対するNLP能力の育成におけるPuoBERTaの有効性を実証し、今後の研究方向性の道を開く。

関連論文リスト

• One Model is All You Need: ByT5-Sanskrit, a Unified Model for Sanskrit NLP Tasks [26.848664285007022]
  ByT5-Sanskritは、形態的にリッチなサンスクリット言語を含むNLPアプリケーション向けに設計された。 外部の言語資源によってカバーされていないデータへのデプロイが容易で、より堅牢である。 提案手法は,他の形態学的にリッチな言語に対する補題化と依存関係解析のための新たなベストスコアが得られることを示す。
  論文  参考訳（メタデータ） (2024-09-20T22:02:26Z)
• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• BasahaCorpus: An Expanded Linguistic Resource for Readability Assessment in Central Philippine Languages [8.64545246732563]
  我々は,フィリピンの低資源言語における可読性評価のためのコーパスとベースラインモデルの拡張を目的としたイニシアチブの一環として,BasahaCorpusを導入・リリースする。 私たちは、Hiligaynon、Minasbate、Karay-a、Rinconadaで書かれた短編物語のコーパスをまとめました。 本稿では,家系木に言語を配置し,利用可能なトレーニングデータの量を増やす階層型言語間モデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T21:05:20Z)
• Improving Natural Language Inference in Arabic using Transformer Models and Linguistically Informed Pre-Training [0.34998703934432673]
  本稿では,自然言語処理分野におけるアラビア語テキストデータの分類について述べる。 この制限を克服するため、公開リソースから専用のデータセットを作成します。 言語固有モデル (AraBERT) が最先端の多言語アプローチと競合することがわかった。
  論文  参考訳（メタデータ） (2023-07-27T07:40:11Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Training Multilingual Pre-trained Language Model with Byte-level Subwords [41.52056437015399]
  BBPE(Byte-Level BPE)を用いた多言語事前学習言語モデルの訓練実践について述べる。 この実験では、NEZHAのアーキテクチャを基礎となるプリトレーニング言語モデルとして採用し、NEZHAがバイトレベルのサブワードを一貫して訓練していることを示した。 我々は,バイトレベルの語彙構築ツールと多言語事前学習言語モデルのソースコードをリリースする。
  論文  参考訳（メタデータ） (2021-01-23T10:01:28Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
  我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。 また,RoBERTaを改良したMacBERTモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-29T02:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。