論文の概要: Red-Teaming Large Language Models in Low-Resource African Languages: A Case Study of Yoruba and Nigerian Pidgin

• arxiv url: http://arxiv.org/abs/2610.39590v1
• Date: Thu, 29 Oct 2026 08:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.062649
• Title: Red-Teaming Large Language Models in Low-Resource African Languages: A Case Study of Yoruba and Nigerian Pidgin
• Title（参考訳）: 低資源アフリカの言語における大規模言語モデルの再編成 : ヨルバとナイジェリアのピジンを事例として
• Abstract要約: 本研究は,ヨルバとナイジェリアのピジンにおける400の明示的な敵対的プロンプトを用いて,最先端の6つの大規模言語モデルを評価する。 ナイジェリアのほとんどの言語では攻撃の成功率が上昇し、GPT-4o Miniは言語間の安全性の最も顕著な相違を示した。 最も難しい被害カテゴリーは、文化的ステレオタイプと差別であった。
• 参考スコア（独自算出の注目度）: 8.269770499991916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become more widespread in Africa, their safety in low-resource languages remains largely untested since most red-teaming work focuses on English. This study evaluates six state-of-the-art LLMs using 400 explicit adversarial prompts in Yoruba and Nigerian Pidgin, categorised into four harm categories. The responses were scored by native-speaker annotators and reliability was assessed using Cohen's $κ$. While models that rejected up to 69% of English prompts rejected as few as 0% in Yoruba, this was not because they were safer, but because they failed to understand the prompts. Attack success rates increased for most models in the Nigerian languages, with GPT-4o Mini demonstrating the most significant cross-lingual safety discrepancy (+0.23 in Yoruba). When models did engage with adversarial prompts, many of the responses were harmful, with rates of harmful content reaching 0.63 in English and 0.50 in Nigerian Pidgin. The most difficult harm category to detect was cultural stereotypes and discrimination (ASR = 0.44 in Nigerian Pidgin). Comprehension in Yoruba was low across most models, and this directly suppressed apparent attack success without indicating actual safety. Gemini 2.0 Flash was the most consistent model across languages. Despite its explicit training in African languages, Aya 101 had the highest attack success rate in English (0.60) and one of the lowest Yoruba comprehension rates (0.28). These results demonstrate that English-centric safety alignment does not transfer to Nigerian languages, highlighting the urgent need for language-specific safety evaluations.
• Abstract（参考訳）: 大きな言語モデル(LLM)がアフリカで普及するにつれて、低リソース言語における安全性は、ほとんどの赤チームの作業が英語に焦点を当てているため、ほとんどテストされていない。 本研究は、ヨルバとナイジェリアのピジンで400の明示的な敵対的プロンプトを用いて、6つの最先端LCMを4つの有害カテゴリーに分類した。 応答はネイティブスピーカーアノテータによって評価され、信頼性はCohenの$κ$を用いて評価された。 イングランドのプロンプトの最大69%を拒絶したモデルは、ヨルバでは0%しか拒絶しなかったが、これはより安全であったからではなく、プロンプトの理解に失敗したからである。 GPT-4o Miniはヨルバ語で+0.23という言語間の安全性の最も重要な相違を示す。 モデルが敵のプロンプトに関わったとき、多くの反応は有害であり、有害な内容の比率は英語で0.63、ナイジェリアのピジンで0.50に達した。 文化的ステレオタイプと差別(ASR = 0.44 ナイジェリア・ピジン)が検出される。 ヨルバの理解はほとんどのモデルで低かったため、実際の安全性を示すことなく直接攻撃の成功を抑えることができた。 Gemini 2.0 Flashは言語間で最も一貫性のあるモデルだった。 アフリカ語での訓練にもかかわらず、アヤ101は英語(0.60)で攻撃の成功率が最も高く、ヨルバ理解率(0.28)では最も低い。 これらの結果は、英語中心の安全アライメントがナイジェリア語に移行しないことを示し、言語固有の安全評価の緊急の必要性を強調している。

関連論文リスト

• AfriGuard: Safety and Robust Refusal For African Languages [46.11411301257984]
  安全なAIシステムを構築するには、安全性のリスクを検出し、その性質を理解し、適切な対応が必要である。 アフリカ語と英語の10言語を対象に,有害な意図,安全カテゴリー理解,拒絶行動について検討した。 最大30倍のモデルで性能を競う効率的なガードレールモデルを開発した。
  論文  参考訳（メタデータ） (2026-10-19T14:21:55Z)
• TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages [12.24666934500708]
  JailbreakBench(JBB)を拡張する7つのアフリカ言語のためのベンチマークであるTUKABENCHを紹介する。 英語とアフリカ語を組み合わせたコード変更プロンプトは、言語の影響、文化的な根拠づけ、モデル安全性への迅速な回避を分離する。 第一に、RefusedとJailbrokenと一緒にDeflectionを導入し、第二に、人間のアノテーションでアウトプットを検証する。
  論文  参考訳（メタデータ） (2026-05-31T16:14:37Z)
• LSR: Linguistic Safety Robustness Benchmark for Low-Resource West African Languages [0.0]
  我々は、西アフリカの言語における言語間拒絶劣化を測定するための最初の体系的ベンチマークであるLSRを紹介する。 文化に根ざした14の攻撃プローブにおけるGemini 2.5 Flashを4つの有害カテゴリで評価した。 西アフリカの言語全体では、拒絶率は35～55%に低下し、イガラは最も深刻な減少を示している。
  論文  参考訳（メタデータ） (2026-02-27T22:54:31Z)
• The State of Large Language Models for African Languages: Progress and Challenges [4.065633096286487]
  本稿では,6つの大言語モデル (LLM) ,8つの小言語モデル (SLM) および6つの特殊SLM (SSLM) のアフリカ言語カバレッジを比較検討する。 評価対象は、言語カバレッジ、トレーニングセット、技術的な制限、スクリプトの問題、言語モデリングのロードマップなどだ。
  論文  参考訳（メタデータ） (2025-06-02T21:39:40Z)
• LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
  M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。 M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。 39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T16:46:54Z)
• AfriSenti: A Twitter Sentiment Analysis Benchmark for African Languages [45.88640066767242]
  アフリカには6以上の言語族から2000以上の言語があり、全大陸で最高の言語多様性がある。 しかし、アフリカ語で実施されているNLP研究はほとんどない。そのような研究を可能にする上で重要なのは、高品質な注釈付きデータセットが利用可能であることだ。 本稿では,14のアフリカ語で110,000以上のツイートを含む感情分析ベンチマークであるAfriSentiを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T15:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。