論文の概要: YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset
- arxiv url: http://arxiv.org/abs/2604.05624v1
- Date: Tue, 07 Apr 2026 09:27:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.73447
- Title: YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset
- Title（参考訳）: YoNER: エンティティ認識データセットを名称とする新しいヨルバのマルチドメイン
- Authors: Peace Busola Falola, Jesujoba O. Alabi, Solomon O. Akinola, Folashade T. Ogunajo, Emmanuel Oluwadunsin Alabi, David Ifeoluwa Adelani,
- Abstract要約: YoNERは、ニュースやウィキペディアを超えてエンティティカバレッジを拡張する、新しいマルチドメインYorb NERデータセットである。
データセットは、約5000の文と、聖書、ブログ、映画、ラジオ放送、ウィキペディアを含む5つのドメインから収集された10000のトークンで構成されている。
その結果,アフリカ中心モデルはYorbの汎用多言語モデルよりも優れていたが,クロスドメイン性能は著しく低下した。
さらに、ドメイン内評価において多言語モデルよりも優れた新しいYorb特化言語モデル(OyoBERT)を導入する。
- 参考スコア（独自算出の注目度）: 6.861392380973616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named Entity Recognition (NER) is a foundational NLP task, yet research in Yorùbá has been constrained by limited and domain-specific resources. Existing resources, such as MasakhaNER (a manually annotated news-domain corpus) and WikiAnn (automatically created from Wikipedia), are valuable but restricted in domain coverage. To address this gap, we present YoNER, a new multidomain Yorùbá NER dataset that extends entity coverage beyond news and Wikipedia. The dataset comprises about 5,000 sentences and 100,000 tokens collected from five domains including Bible, Blogs, Movies, Radio broadcast and Wikipedia, and annotated with three entity types: Person (PER), Organization (ORG) and Location (LOC), following CoNLL-style guidelines. Annotation was conducted manually by three native Yorùbá speakers, with an inter-annotator agreement of over 0.70, ensuring high quality and consistency. We benchmark several transformer encoder models using cross-domain experiments with MasakhaNER 2.0, and we also assess the effect of few-shot in-domain data using YoNER and cross-lingual setups with English datasets. Our results show that African-centric models outperform general multilingual models for Yorùbá, but cross-domain performance drops substantially, particularly for blogs and movie domains. Furthermore, we observed that closely related formal domains, such as news and Wikipedia, transfer more effectively. In addition, we introduce a new Yorùbá-specific language model (OyoBERT) that outperforms multilingual models in in-domain evaluation. We publicly release the YoNER dataset and pretrained OyoBERT models to support future research on Yorùbá natural language processing.
- Abstract（参考訳）: 名前付きエンティティ認識(NER)は基礎的なNLPタスクであるが、ヨルバの研究は限定的でドメイン固有のリソースによって制限されている。
MasakhaNER(手動で注釈付きニュースドメインコーパス)やWikiAnn(ウィキペディアから自動生成)といった既存のリソースは価値があるが、ドメインカバレッジには制限がある。
このギャップに対処するため、我々は、ニュースやウィキペディアを超えてエンティティカバレッジを拡張する、新しいマルチドメインYor'bá NERデータセットであるYoNERを提示する。
このデータセットは、聖書、ブログ、映画、ラジオ放送、ウィキペディアを含む5つのドメインから収集された約5,000の文と10000のトークンから構成されており、CoNLLスタイルのガイドラインに従ってPerson(PER)、Organization(ORG)、Location(LOC)の3つのエンティティタイプが注釈付けされている。
注釈は3人のヨルバ話者によって手作業で行われ、アノテータ間の合意は0.70を超え、高品質で一貫性が確保された。
我々は,MashokhaNER 2.0を用いたクロスドメイン実験を用いて,いくつかのトランスフォーマーエンコーダモデルをベンチマークし,YoNERを用いた少数のドメインデータと英語データセットを用いたクロスランガルセットアップの効果を評価する。
アフリカ中心のモデルはヨルバの一般的な多言語モデルよりも優れているが、特にブログや映画ドメインではクロスドメインのパフォーマンスは大幅に低下する。
さらに,ニュースやウィキペディアなど,関連性の高い形式ドメインの転送がより効果的に行われていることも確認した。
さらに、ドメイン内評価において多言語モデルよりも優れた新しいヨルバ固有言語モデル(OyoBERT)を導入する。
ヨルバ自然言語処理の今後の研究を支援するために、YoNERデータセットとOyoBERTモデルを公開し、事前訓練した。
関連論文リスト
- Konooz: Multi-domain Multi-dialect Corpus for Named Entity Recognition [0.5461938536945721]
コヌーズ(Konoz)は、10の領域にまたがる16のアラビア方言をカバーする新しい多次元コーパスである。
Konoozは、ドメイン適応や転送学習といったさまざまなNLPタスクに役立ちます。
論文 参考訳（メタデータ） (2025-06-14T19:58:55Z) - Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages [11.540702510360985]
我々は、8つのインドの言語にまたがる280万行以上の英語とインデックスとインデックスの高品質な翻訳ペアを含む並列コーパスを作成します。
我々は、このコーパスを用いてNMTモデルを微調整し、評価し、ドメイン内のタスクで利用可能な他のすべてのモデルを超えます。
論文 参考訳（メタデータ） (2024-12-12T07:40:55Z) - Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
Yorub'aは、約4700万人の話者を持つアフリカの言語である。
アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。
我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
論文 参考訳（メタデータ） (2024-06-27T22:38:04Z) - L3Cube-MahaSent-MD: A Multi-domain Marathi Sentiment Analysis Dataset
and Transformer Models [1.5749416770494706]
MahaSent-MDは、Indicの感情環境における最初の総合的なマルチドメイン感情分析データセットである。
データセットは,3つの異なる感情 – 肯定的,否定的,中立的 – をカバーする,約6万件のタグ付けされたサンプルで構成されている。
これらのデータセット上で単言語モデルと多言語BERTモデルを微調整し、MahaBERTモデルで最良の精度を報告する。
論文 参考訳（メタデータ） (2023-06-24T07:27:53Z) - NaSGEC: a Multi-Domain Chinese Grammatical Error Correction Dataset from
Native Speaker Texts [51.64770549988806]
複数のドメインからのネイティブ話者テキストに対する中国語文法誤り訂正(CGEC)の研究を容易にする新しいデータセットであるNaSGECを紹介する。
対象ドメインを広げるために,3つの母国ドメイン,すなわちソーシャルメディア,科学文献,試験から12,500の文に対する複数の参照を注釈付けする。
我々は,最先端CGECモデルと異なるトレーニングデータを用いて,NaSGECのベンチマーク結果を示す。
論文 参考訳（メタデータ） (2023-05-25T13:05:52Z) - AsNER -- Annotated Dataset and Baseline for Assamese Named Entity
recognition [7.252817150901275]
提案されたNERデータセットは、ディープニューラルネットワークベースのアサマセ言語処理のための重要なリソースである可能性が高い。
我々は、NERモデルをトレーニングしてデータセットをベンチマークし、教師付きエンティティ認識のための最先端アーキテクチャを用いて評価する。
全てのベースラインの中で最も高いF1スコアは、単語埋め込み法として MuRIL を使用する場合、80.69%の精度を達成する。
論文 参考訳（メタデータ） (2022-07-07T16:45:55Z) - HiNER: A Large Hindi Named Entity Recognition Dataset [29.300418937509317]
本稿では,11個のタグを付加した109,146文と2,220,856トークンを含む標準Hindi NERデータセットをリリースする。
データセット内のタグセットの統計は、特に人、場所、組織といった著名なクラスにおいて、タグ単位の分布が健全であることを示している。
我々のデータセットは、すべてのタグで重み付けされたF1スコア88.78、タグセットが崩壊したときに92.22を達成するのに役立ちます。
論文 参考訳（メタデータ） (2022-04-28T19:14:21Z) - Non-Parametric Unsupervised Domain Adaptation for Neural Machine
Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。
対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T11:50:01Z) - MobIE: A German Dataset for Named Entity Recognition, Entity Linking and
Relation Extraction in the Mobility Domain [76.21775236904185]
データセットは3,232のソーシャルメディアテキストと91Kトークンによるトラフィックレポートで構成され、20.5Kアノテーション付きエンティティを含んでいる。
データセットのサブセットには,7つのモビリティ関連,n-ary関係型がアノテートされている。
私たちの知る限りでは、NER、EL、REのアノテーションを組み合わせた最初のドイツ語データセットです。
論文 参考訳（メタデータ） (2021-08-16T08:21:50Z) - Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。
このようなモデルに基づくドメインデータ選択手法を提案する。
我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
論文 参考訳（メタデータ） (2020-04-05T06:22:16Z) - Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。
外部リソースを一切使用しないドメイン間NERモデルを提案する。
論文 参考訳（メタデータ） (2020-02-14T09:04:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。