論文の概要: Does Generative AI speak Nigerian-Pidgin?: Issues about Representativeness and Bias for Multilingualism in LLMs

• arxiv url: http://arxiv.org/abs/2404.19442v2
• Date: Wed, 23 Oct 2024 17:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:53:07.081184
• Title: Does Generative AI speak Nigerian-Pidgin?: Issues about Representativeness and Bias for Multilingualism in LLMs
• Title（参考訳）: ジェネレーティブAIはナイジェリア・ピジン語を話すか?: LLMにおける多言語主義の代表性とバイアスに関する問題
• Authors: David Ifeoluwa Adelani, A. Seza Doğruöz, Iyanuoluwa Shode, Anuoluwapo Aremu,
• Abstract要約: ナイジャ語はナイジェリアで約1億2000万人の話者が話すナイジェリア・ピジン語である。 混成言語(英語、ポルトガル語、ヨルバ語、ハウサ語、イグボ語など)である。 西アフリカ・ピジン英語(西アフリカ・ピジン英語)(WAPE)として知られる西アフリカで話される大きなピジン語と非ネイティブで区別するのは困難である
• 参考スコア（独自算出の注目度）: 8.829688681748413
• License:
• Abstract: Nigeria is a multilingual country with 500+ languages. Naija is a Nigerian-Pidgin spoken by approx. 120M speakers in Nigeria and it is a mixed language (e.g., English, Portuguese, Yoruba, Hausa and Igbo). Although it has mainly been a spoken language until recently, there are now various platforms publishing exclusively in Naija such as Naija Wikipedia. However, it is hard to distinguish by non-native from a larger pidgin languages spoken across West Africa known as West African Pidgin English (WAPE) -- which is more simplied and understandable by wider audience in Ghana, Nigeria, and Cameroon. BBC news platform publishes exclusively in WAPE to cater for several countries in West Africa. In our paper, we show through statistical analyses and Machine Translation experiments that these two creole varieties do not represent each other (i.e., there are linguistic differences in word order and vocabulary) and Generative AI operates only based on WAPE. In other words, Naija is under-represented in Generative AI, and it is hard to teach LLMs with few examples.
• Abstract（参考訳）: ナイジェリアは500以上の言語を持つ多言語国家である。 ナイジャ(英: Naija)は、ナイジェリア・ピジン語族に属する言語である。 ナイジェリアでは1億2000万人が話者であり、混成言語である(例えば、英語、ポルトガル語、ヨルバ語、ハウサ語、イグボ語)。 主に最近まで話し言葉であったが、現在ではナイジャ語ウィキペディアなど、ナイジャ語でのみ出版されている様々なプラットフォームがある。 しかしながら、西アフリカで話されている西アフリカ・ピジン・イングリッシュ(WAPE)と呼ばれる大きなピジン語とは非ネイティブ語では区別が難しい。 BBCのニュースプラットフォームはWAPEでのみ公開され、西アフリカのいくつかの国で配信されている。 本稿では,統計解析と機械翻訳実験を通じて,これら2つのクレオール種が互いに表現していないこと(語順と語彙に言語的差異がある),生成AIはWAPEに基づいてのみ動作することを示す。 言い換えれば、NaijaはジェネレーティブAIでは表現不足であり、いくつかの例でLLMを教えるのは難しい。

関連論文リスト

• Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
  Yorub'aは、約4700万人の話者を持つアフリカの言語である。 アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。 我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:38:04Z)
• What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
  我々はドイツ語に関連する方言と地域言語に関する話者を調査した。 回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
  論文  参考訳（メタデータ） (2024-02-19T09:15:28Z)
• Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.13536517783837]
  アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
  論文  参考訳（メタデータ） (2023-06-11T23:27:47Z)
• AfriSenti: A Twitter Sentiment Analysis Benchmark for African Languages [45.88640066767242]
  アフリカには6以上の言語族から2000以上の言語があり、全大陸で最高の言語多様性がある。 しかし、アフリカ語で実施されているNLP研究はほとんどない。そのような研究を可能にする上で重要なのは、高品質な注釈付きデータセットが利用可能であることだ。 本稿では,14のアフリカ語で110,000以上のツイートを含む感情分析ベンチマークであるAfriSentiを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T15:40:12Z)
• \`It\`ak\'ur\`oso: Exploiting Cross-Lingual Transferability for Natural Language Generation of Dialogues in Low-Resource, African Languages [0.9511471519043974]
  本研究では,最先端のモノリンガルモデル(SoTA)から6つのアフリカ語への言語間移動の可能性について検討する。 言語はスワヒリ語、ヴロフ語、ハウサ語、ナイジェリア語、ピジン語、キンヤルワンダ語、ヨルバ語である。 結果は、深い単言語モデルが言語にまたがって一般化する抽象性を学ぶという仮説が成り立つことを示している。
  論文  参考訳（メタデータ） (2022-04-17T20:23:04Z)
• One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia [60.87739250251769]
  インドネシアの700以上の言語を対象としたNLP研究の現状について概説する。 インドネシアのNLPにおける課題と、現在のNLPシステムの性能にどのように影響するかを強調します。
  論文  参考訳（メタデータ） (2022-03-24T22:07:22Z)
• Towards End-to-End Training of Automatic Speech Recognition for Nigerian Pidgin [0.0]
  ナイジェリアのピジンは西アフリカで最も人気のある言語の一つである。 我々はナイジェリアのピジンについて最初のパラレル(音声からテキスト)データを提示する。 また,この言語を用いた最初のエンドツーエンド音声認識システムを訓練した。
  論文  参考訳（メタデータ） (2020-10-21T16:32:58Z)
• SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection [81.85463892070085]
  形態的回帰に関するSIGMORPHON 2020の課題は、型的に異なる言語にまたがるシステムの一般化能力を調査することを目的としている。 システムは45言語と5つの言語ファミリーのデータを使用して開発され、追加の45言語と10の言語ファミリー(合計13言語)のデータで微調整され、90言語すべてで評価された。
  論文  参考訳（メタデータ） (2020-06-20T13:24:14Z)
• Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin [0.2792030485253753]
  ナイジェリアのピジン語はおそらくナイジェリアで最も広く話されている言語である。この言語は西アフリカや中央アフリカでも話されている。 この研究は、英語とナイジェリアのピジンの間で、教師付きおよび教師なしのニューラルネットワーク翻訳ベースラインを確立することを目的としている。
  論文  参考訳（メタデータ） (2020-03-27T22:40:01Z)
• Towards Neural Machine Translation for Edoid Languages [2.144787054581292]
  多くのナイジェリアの言語は、現代の社会における彼らの以前の名声と目的を、英語とナイジェリアのピジンに放棄した。 本研究は,南ナイジェリアの江戸語族におけるニューラルマシン翻訳の実現可能性について考察する。
  論文  参考訳（メタデータ） (2020-03-24T07:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。