論文の概要: Low resource language dataset creation, curation and classification: Setswana and Sepedi -- Extended Abstract

• arxiv url: http://arxiv.org/abs/2004.13842v1
• Date: Mon, 30 Mar 2020 18:03:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:36:23.494042
• Title: Low resource language dataset creation, curation and classification: Setswana and Sepedi -- Extended Abstract
• Title（参考訳）: 低リソース言語データセットの作成、キュレーション、分類: setwana と sepedi -- extended abstract
• Authors: Vukosi Marivate, Tshephisho Sefara, Vongani Chabalala, Keamogetswe Makhaya, Tumisho Mokgonyane, Rethabile Mokoena, Abiodun Modupe
• Abstract要約: SetswanaとSepediのニュースの見出しに焦点を当てたデータセットを作成します。 分類のためのベースラインを提案し,低リソース言語に適したデータ拡張手法について検討する。
• 参考スコア（独自算出の注目度）: 2.3801001093799115
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The recent advances in Natural Language Processing have only been a boon for well represented languages, negating research in lesser known global languages. This is in part due to the availability of curated data and research resources. One of the current challenges concerning low-resourced languages are clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creating two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and the creation of a news topic classification task from these datasets. In this study, we document our work, propose baselines for classification, and investigate an approach on data augmentation better suited to low-resourced languages in order to improve the performance of the classifiers.
• Abstract（参考訳）: 自然言語処理の最近の進歩は、あまり知られていないグローバル言語の研究を否定する、よく表現された言語に対する恩恵に過ぎなかった。 これは部分的には、キュレートされたデータと研究リソースが利用できるためです。 低リソース言語に関する現在の課題の1つは、さまざまなユースケースのためのデータセットの収集、キュレーション、準備に関する明確なガイドラインである。 本研究では,setwanaとsepediのニュース見出し(短文)に焦点を当てた2つのデータセットの作成と,これらのデータセットからニューストピック分類タスクの作成を行う。 本研究では,我々の研究を文書化し,分類のベースラインを提案し,低リソース言語に適したデータ拡張手法の検討を行い,分類器の性能を向上させる。

関連論文リスト

• Table Question Answering for Low-resourced Indic Languages [71.57359949962678]
  TableQAは構造化された情報のテーブル上で質問に答え、個々のセルやテーブルを出力として返すタスクである。 予算が限られている低リソース言語を対象とした,完全自動大規模テーブルQAデータ生成プロセスを提案する。 表QAデータセットやモデルを持たない2つのIndic言語であるBengaliとHindiにデータ生成手法を組み込む。
  論文  参考訳（メタデータ） (2024-10-04T16:26:12Z)
• GPTs Are Multilingual Annotators for Sequence Generation Tasks [11.59128394819439]
  本研究では,大規模言語モデルを用いた自律アノテーション手法を提案する。 提案手法はコスト効率だけでなく,低リソース言語アノテーションにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-08T09:44:02Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Izindaba-Tindzaba: Machine learning news categorisation for Long and Short Text for isiZulu and Siswati [1.666378501554705]
  南アフリカの言語は低資源言語に分類される。 この作業では、isiZuluとSiswatiのネイティブ言語用の注釈付きニュースデータセットの作成に重点が置かれた。
  論文  参考訳（メタデータ） (2023-06-12T21:02:12Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
  非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。 本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。 その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-05-15T23:51:11Z)
• An Amharic News Text classification Dataset [0.0]
  6つのクラスに分類された50万以上のニュース記事からなるAmharicテキスト分類データセットの導入を目指しています。 このデータセットは、研究とより良いパフォーマンス実験を促進するための簡単なベースラインパフォーマンスで利用可能になります。
  論文  参考訳（メタデータ） (2021-03-10T16:36:39Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Studying Taxonomy Enrichment on Diachronic WordNet Versions [70.27072729280528]
  本稿では,資源の乏しい環境での分類拡張の可能性について検討し,多数の言語に適用可能な手法を提案する。 我々は、分類の豊かさを訓練し評価するための新しい英語とロシア語のデータセットを作成し、他の言語のためのそのようなデータセットを作成する技術を記述する。
  論文  参考訳（メタデータ） (2020-11-23T16:49:37Z)
• Investigating an approach for low resource language dataset creation, curation and classification: Setswana and Sepedi [2.3801001093799115]
  SetswanaとSepediのニュースの見出しに焦点を当てたデータセットを作成します。 ニューストピックの分類タスクも作成します。 本稿では,低リソース言語に適したデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T13:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。