論文の概要: Yankari: A Monolingual Yoruba Dataset

• arxiv url: http://arxiv.org/abs/2412.03334v1
• Date: Wed, 04 Dec 2024 14:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:51.864076
• Title: Yankari: A Monolingual Yoruba Dataset
• Title（参考訳）: Yankari: モノリンガルなYorubaデータセット
• Authors: Maro Akpobi,
• Abstract要約: Yankariは、Yoruba言語のための大規模なモノリンガルデータセットである。 ヨルバは3000万人以上の人々に話されているにもかかわらず、NLPの研究や応用では非常に過小評価されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents Yankari, a large-scale monolingual dataset for the Yoruba language, aimed at addressing the critical gap in Natural Language Processing (NLP) resources for this important West African language. Despite being spoken by over 30 million people, Yoruba has been severely underrepresented in NLP research and applications. We detail our methodology for creating this dataset, which includes careful source selection, automated quality control, and rigorous data cleaning processes. The Yankari dataset comprises 51,407 documents from 13 diverse sources, totaling over 30 million tokens. Our approach focuses on ethical data collection practices, avoiding problematic sources and addressing issues prevalent in existing datasets. We provide thorough automated evaluations of the dataset, demonstrating its quality compared to existing resources. The Yankari dataset represents a significant advancement in Yoruba language resources, providing a foundation for developing more accurate NLP models, supporting comparative linguistic studies, and contributing to the digital accessibility of the Yoruba language.
• Abstract（参考訳）: 本稿では,この重要な西アフリカの言語において,自然言語処理(NLP)資源の限界に対処することを目的とした,ヨルバ語用大規模単言語データセットYankariについて述べる。 ヨルバは3000万人以上の人々に話されているにもかかわらず、NLPの研究や応用では非常に過小評価されている。 このデータセットを作成するための方法論を詳述します。これには、慎重にソースの選択、自動品質管理、厳密なデータクリーニングプロセスが含まれます。 Yankariデータセットは、13のさまざまなソースから51,407のドキュメントで構成されており、合計で3000万以上のトークンがある。 弊社のアプローチは、倫理的データ収集の実践、問題ソースの回避、既存のデータセットに多い問題への対処に重点を置いている。 データセットの完全な自動評価を行い、既存のリソースと比較してその品質を実証する。 ヤンカリデータセットは、ヨルバ語資源の大幅な進歩を表し、より正確なNLPモデルの開発、比較言語研究のサポート、ヨルバ語のデジタルアクセシビリティへの貢献の基礎を提供する。

関連論文リスト

• WanJuanSiLu: A High-Quality Open-Source Webtext Dataset for Low-Resource Languages [62.1053122134059]
  本稿では、低リソース言語のための高品質なトレーニングコーパスを提供するために設計されたオープンソースのデータセットWanJuanSiLuを紹介する。 我々は低リソース言語に適した体系的なデータ処理フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-01-24T14:06:29Z)
• RedPajama: an Open Dataset for Training Large Language Models [80.74772646989423]
  我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
  論文  参考訳（メタデータ） (2024-11-19T09:35:28Z)
• SwaQuAD-24: QA Benchmark Dataset in Swahili [0.0]
  本稿では,Swahili Question Answering (QA)ベンチマークデータセットの作成を提案する。 このデータセットは、スワヒリの言語的多様性と複雑さを捉える高品質で注釈付き質問応答ペアを提供することに重点を置いている。 データプライバシ、バイアス緩和、インクリシティといった倫理的配慮が、データセット開発の中心である。
  論文  参考訳（メタデータ） (2024-10-18T08:49:24Z)
• A multilingual dataset for offensive language and hate speech detection for hausa, yoruba and igbo languages [0.0]
  本研究では,ナイジェリアの3大言語であるHausa,Yoruba,Igboにおいて,攻撃的言語検出のための新しいデータセットの開発と導入の課題に対処する。 私たちはTwitterからデータを収集し、それを手動でアノテートして、ネイティブスピーカーを使用して、3つの言語毎にデータセットを作成しました。 学習済み言語モデルを用いて、データセット中の攻撃的言語の検出の有効性を評価し、最高の性能モデルが90%の精度で達成した。
  論文  参考訳（メタデータ） (2024-06-04T09:58:29Z)
• Open the Data! Chuvash Datasets [50.59120569845975]
  Chuvash言語用の包括的データセットを4つ紹介する。 これらのデータセットには、モノリンガルデータセット、ロシア語による並列データセット、英語による並列データセット、オーディオデータセットが含まれる。
  論文  参考訳（メタデータ） (2024-05-31T07:51:19Z)
• Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning [49.79783940841352]
  既存のデータセットはほとんどが英語で書かれている。 私たちは世界中の言語に精通した話者と協力して、指示と完了の自然な例を集めています。 既存のデータセットを114言語でテンプレート化し、翻訳することで、5億1300万のインスタンスを含む、これまでで最も広範な多言語コレクションを作成します。
  論文  参考訳（メタデータ） (2024-02-09T18:51:49Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Breaking Language Barriers: A Question Answering Dataset for Hindi and Marathi [1.03590082373586]
  本稿では,ヒンディー語とマラティー語という2つの言語を対象とした質問回答データセットの開発に焦点をあてる。 ヒンディー語は世界第3位の言語であり、マラシ語は世界第11位の言語であるにもかかわらず、両方の言語は効率的な質問回答システムを構築するための限られた資源に直面している。 これらの言語で利用可能な最大の質問回答データセットをリリースし、各データセットには28,000のサンプルが含まれています。
  論文  参考訳（メタデータ） (2023-08-19T00:39:21Z)
• Beyond Counting Datasets: A Survey of Multilingual Dataset Construction and Necessary Resources [38.814057529254846]
  公開されている156個のNLPデータセットの特徴について検討する。 言語に習熟したNLP研究者と集団労働者を対象に調査を行った。 メカニカルトルコプラットフォーム上で高品質な多言語データを収集するための戦略を同定する。
  論文  参考訳（メタデータ） (2022-11-28T18:54:33Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。