論文の概要: Wazobia Eval: A Benchmark for Nigerian Pidgin Emotion Understanding, Sarcasm Detection, and Cultural Reasoning
- arxiv url: http://arxiv.org/abs/2608.21369v1
- Date: Sun, 21 Jun 2026 10:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.313998
- Title: Wazobia Eval: A Benchmark for Nigerian Pidgin Emotion Understanding, Sarcasm Detection, and Cultural Reasoning
- Title（参考訳）: Wazobia Eval:ナイジェリアのピジン感情理解、サルカズム検出、文化的推論のためのベンチマーク
- Abstract要約: ワゾビア・エバル(Wazobia Eval)は、ナイジェリアのピジンの感情理解、皮肉検出、文化的推論を評価するためのベンチマークである。
ベンチマークは550以上のサンプルを含む手動のアノテートデータセット上に構築されている。
本稿では, ベンチマーク設計, アノテーション方法論, 分類学開発プロセス, 予備試験結果について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nigerian Pidgin is one of Africa's most widely spoken languages, yet remains severely underrepresented in language model evaluation. Existing benchmarks primarily focus on translation, transcription, or generic sentiment analysis, leaving critical aspects of culturally grounded language understanding unmeasured. We introduce Wazobia Eval, a benchmark for evaluating Nigerian Pidgin emotion understanding, sarcasm detection, and cultural reasoning. The benchmark is built on a manually annotated dataset containing over 550 examples and a 16-category emotion taxonomy designed to capture culturally specific emotional registers that are not represented in conventional sentiment frameworks. Wazobia Eval provides standardized evaluation protocols and benchmark tasks for assessing model performance on nuanced Nigerian language understanding. We present the benchmark design, annotation methodology, taxonomy development process, and preliminary pilot evaluation results. Our goal is to provide foundational evaluation infrastructure for Nigerian language AI and establish a reproducible benchmark for future research. The dataset is publicly available at https://huggingface.co/WAZOBIALABS.
- Abstract（参考訳）: ナイジェリアのピジン語はアフリカで最も広く話されている言語の1つだが、言語モデルの評価では著しく不足している。
既存のベンチマークは主に翻訳、書き起こし、あるいは一般的な感情分析に焦点を当てており、文化的基盤を持つ言語理解の重要な側面は未測定のまま残されている。
本稿では,ナイジェリアのピジン感情理解,皮肉検出,文化推論のベンチマークであるワゾビア・エバルを紹介する。
このベンチマークは、550以上のサンプルを含む手動の注釈付きデータセットと、従来の感情フレームワークでは表現されていない文化的に特定の感情レジスタをキャプチャするために設計された16カテゴリの感情分類を含む。
Wazobia Evalは、ナイジェリアのニュアンス言語理解に基づいてモデルパフォーマンスを評価するための標準化された評価プロトコルとベンチマークタスクを提供する。
本稿では, ベンチマーク設計, アノテーション方法論, 分類学開発プロセス, 予備試験結果について述べる。
我々の目標はナイジェリアの言語AIの基礎的な評価基盤を提供し、将来の研究のための再現可能なベンチマークを確立することです。
データセットはhttps://huggingface.co/WAZOBIALABS.comで公開されている。
関連論文リスト
- ExCAM: Explainable Cultural Awareness Metrics [30.64642598421111]
ExCAMは、インストラクションとアウトプットのペアにおける文化的エラーを特定し、評価し、説明する。
複数のベースラインと比較して、ExCAMはバランスの取れたテストセット上で最大80%の精度でエラー検出率を達成する。
論文 参考訳（メタデータ） (2026-05-28T13:21:36Z) - From Polyester Girlfriends to Blind Mice: Creating the First Pragmatics Understanding Benchmarks for Slovene [0.12277343096128711]
我々はSloPragEvalとSloPragMegaを紹介した。
本稿では,翻訳の難しさについて論じ,人間のベースラインを確立するためのキャンペーンについて述べるとともに,パイロット評価をLCMで報告する。
以上の結果から,現在のモデルではニュアンス言語理解が大幅に改善されているものの,非文節発話におけるインプリート話者の意味を推測できない可能性が示唆された。
論文 参考訳（メタデータ） (2025-10-24T15:43:42Z) - EmoBench-UA: A Benchmark Dataset for Emotion Detection in Ukrainian [55.08460390792863]
EmoBench-UAはウクライナのテキストで感情を検出するための最初の注釈付きデータセットである。
その結果,ウクライナ語のような非主流言語における感情分類の課題が浮き彫りになった。
論文 参考訳（メタデータ） (2025-05-29T09:49:57Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳（メタデータ） (2023-09-21T13:20:13Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - Sign-to-Speech Model for Sign Language Understanding: A Case Study of
Nigerian Sign Language [0.0]
このデータセットはナイジェリア手話の先駆的なデータセットである。
我々は2つの異なる物体検出モデルと分類モデルに対して、データを準備的に前処理した。
我々は、手話/フレーズをテキストに変換し、その後音声に変換する、リアルタイムかつ印象的な結果が得られる軽量アプリケーションに、最高のパフォーマンスモデルを展開する。
論文 参考訳（メタデータ） (2021-11-01T14:59:02Z) - Towards End-to-End Training of Automatic Speech Recognition for Nigerian Pidgin [1.099532646524593]
本稿ではナイジェリアのピジン英語向けにカスタマイズされたエンドツーエンド音声認識システムの開発に焦点をあてる。
我々は,新しいデータセットを用いて,事前訓練された最先端アーキテクチャについて検討・評価を行った。
このアーキテクチャをデータセットで表現されたニュアンスに適応することにより、エラーを59.84%削減する。
論文 参考訳（メタデータ） (2020-10-21T16:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。