論文の概要: How good are Large Language Models on African Languages?
- arxiv url: http://arxiv.org/abs/2311.07978v1
- Date: Tue, 14 Nov 2023 08:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 15:05:31.545592
- Title: How good are Large Language Models on African Languages?
- Title(参考訳): アフリカ言語における大規模言語モデルはどの程度優れているか?
- Authors: Jessica Ojo, Kelechi Ogueji, Pontus Stenetorp, David I. Adelani
- Abstract要約: アフリカ30言語にまたがる5つのタスクにおける3つの人気言語モデル (mT0, LLaMa 2, GPT-4) の解析を行った。
GPT-4は、分類タスクでは平均的あるいは印象的な性能を持つが、機械翻訳のような生成タスクでは非常に低い結果が得られる。
全体として、LLaMa 2は、多言語能力の制限と英語中心の事前学習コーパスのために、最悪のパフォーマンスを記録している。
- 参考スコア(独自算出の注目度): 15.154625449988156
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advancements in natural language processing have led to the
proliferation of large language models (LLMs). These models have been shown to
yield good performance, using in-context learning, even on unseen tasks and
languages. Additionally, they have been widely adopted as
language-model-as-a-service commercial APIs like GPT-4 API. However, their
performance on African languages is largely unknown. We present an analysis of
three popular large language models (mT0, LLaMa 2, and GPT-4) on five tasks
(news topic classification, sentiment classification, machine translation,
question answering, and named entity recognition) across 30 African languages,
spanning different language families and geographical regions. Our results
suggest that all LLMs produce below-par performance on African languages, and
there is a large gap in performance compared to high-resource languages like
English most tasks. We find that GPT-4 has an average or impressive performance
on classification tasks but very poor results on generative tasks like machine
translation. Surprisingly, we find that mT0 had the best overall on
cross-lingual QA, better than the state-of-the-art supervised model (i.e.
fine-tuned mT5) and GPT-4 on African languages. Overall, LLaMa 2 records the
worst performance due to its limited multilingual capabilities and
English-centric pre-training corpus. In general, our findings present a
call-to-action to ensure African languages are well represented in large
language models, given their growing popularity.
- Abstract(参考訳): 近年の自然言語処理の進歩は,大規模言語モデル(LLM)の普及につながっている。
これらのモデルは、未認識のタスクや言語でも、コンテキスト内学習を使用して、優れたパフォーマンスをもたらすことが示されている。
さらに、GPT-4 APIのような言語モデル・アズ・ア・サービスの商用APIとして広く採用されている。
しかし、アフリカ語での演奏はほとんど分かっていない。
我々は,30のアフリカ言語を対象とした5つのタスク(トピック分類,感情分類,機械翻訳,質問応答,名前付きエンティティ認識)における3つの人気言語モデル(mT0,LLaMa 2,GPT-4)の分析を行った。
以上の結果から,LLMはアフリカ諸言語において低レベルな性能を実現しており,英語などの高リソース言語と比較して,性能の差が大きいことが示唆された。
GPT-4は、分類タスクでは平均的あるいは印象的な性能を持つが、機械翻訳のような生成タスクでは非常に低い結果が得られる。
驚いたことに、mT0は言語間QAにおいて、最先端の教師付きモデル(mT5)やアフリカの言語におけるGPT-4よりも優れた総合性を持っていた。
概してllama 2は、多言語能力の制限と英語中心の事前学習コーパスのため、最悪のパフォーマンスを記録している。
一般論として,アフリカ系言語が大きな言語モデルでよく表現されていることを確認すべく,我々の研究はコール・ツー・アクションを提示する。
関連論文リスト
- Quantifying Multilingual Performance of Large Language Models Across Languages [49.596454686818106]
LLM(Large Language Models)のトレーニングプロセスには、広範なテキストコーパスが必要である。
Language Rankerは、これらの言語上でのLLMのパフォーマンスに応じて、異なる言語をベンチマークし、ランク付けすることを目的としている。
異なる言語におけるLlaMa2の性能と事前学習コーパスの割合との間には強い相関関係がある。
論文 参考訳(メタデータ) (2024-04-17T16:53:16Z) - Hire a Linguist!: Learning Endangered Languages with In-Context
Linguistic Descriptions [52.95579788485411]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳(メタデータ) (2024-02-28T03:44:01Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - Beyond English: Evaluating LLMs for Arabic Grammatical Error Correction [19.970419667319046]
大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。
アラビア語文法誤り訂正(GEC)における命令微調整LDMの能力の評価
命令を微調整したモデルのサイズに関わらず、たとえ非常に小さくても、完全に微調整されたモデルよりも性能が優れていることが判明した。
論文 参考訳(メタデータ) (2023-12-13T05:33:25Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning:
Insights and Observations [90.73517523001149]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
翻訳を利用して,最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
我々は、MathOctopusという名の強力なxMR LLMを構築するための異なるトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-10-31T08:09:20Z) - ChatGPT for Arabic Grammatical Error Correction [5.945320097465418]
大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。
本稿では,アラビア語の豊富な形態が原因で複雑化した課題である,アラビア語 GEC における微調整 LLM の指導能力について検討する。
命令の微調整モデルは,そのサイズによらず,かなり小型の完全微調整モデルに比べて性能が劣ることがわかった。
論文 参考訳(メタデータ) (2023-08-08T18:00:39Z) - How Good are Commercial Large Language Models on African Languages? [0.012691047660244334]
本研究では,8つのアフリカの言語を対象とした2つのタスク(機械翻訳とテキスト分類)における商業的大規模言語モデルの予備的分析を行う。
この結果から, 商業言語モデルがアフリカ語で低水準のパフォーマンスを生んでいることが示唆された。
一般論として,アフリカの言語が商業的な大規模言語モデルでよく表現されていることを保証するために,我々の研究成果はコール・ツー・アクションとして提示される。
論文 参考訳(メタデータ) (2023-05-11T02:29:53Z) - Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。
MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。
英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
論文 参考訳(メタデータ) (2022-11-03T13:19:32Z) - MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity
Recognition [55.95128479289923]
アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。
我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。
最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
論文 参考訳(メタデータ) (2022-10-22T08:53:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。