論文の概要: Quantifying Multilingual Performance of Large Language Models Across Languages
- arxiv url: http://arxiv.org/abs/2404.11553v1
- Date: Wed, 17 Apr 2024 16:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:06:14.633655
- Title: Quantifying Multilingual Performance of Large Language Models Across Languages
- Title(参考訳): 言語全体にわたる大規模言語モデルの多言語性能の定量化
- Authors: Zihao Li, Yucheng Shi, Zirui Liu, Fan Yang, Ninghao Liu, Mengnan Du,
- Abstract要約: LLM(Large Language Models)のトレーニングプロセスには、広範なテキストコーパスが必要である。
Language Rankerは、これらの言語上でのLLMのパフォーマンスに応じて、異なる言語をベンチマークし、ランク付けすることを目的としている。
異なる言語におけるLlaMa2の性能と事前学習コーパスの割合との間には強い相関関係がある。
- 参考スコア(独自算出の注目度): 49.596454686818106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training process of Large Language Models (LLMs) requires extensive text corpus. However, these data are often unevenly distributed in different languages. As a result, LLMs perform well on common languages, such as English, German, and French, but perform poorly on low-resource languages. However, currently there is no work to quantitatively measure the performance of LLMs in low-resource languages. To fill this gap, we proposed the Language Ranker that aims to benchmark and rank different languages according to the performance of LLMs on those languages. We employ the LLM's performance on the English corpus as a baseline to compare the performances of different languages and English. We have the following three findings: 1. The performance rankings of different LLMs in all languages are roughly the same. 2. LLMs with different sizes have the same partial order of performance. 3. There is a strong correlation between LlaMa2's performance in different languages and the proportion of the pre-training corpus. These findings illustrate that the Language Ranker can be used as an indicator to measure the language performance of LLMs.
- Abstract(参考訳): LLM(Large Language Models)のトレーニングプロセスは、広範なテキストコーパスを必要とする。
しかし、これらのデータは、しばしば異なる言語で不均一に分散される。
その結果、LLMは英語、ドイツ語、フランス語などの共通言語でよく機能するが、低リソース言語では性能が良くない。
しかし、現在、低リソース言語におけるLLMの性能を定量的に測定する作業は行われていない。
このギャップを埋めるため,これらの言語上でのLLMの性能に応じて,異なる言語をベンチマークし,ランク付けすることを目的としたLanguage Rankerを提案する。
我々は、LLMのパフォーマンスを英語コーパスにベースラインとして使用し、異なる言語と英語のパフォーマンスを比較した。
以下の3つの発見がある。
1.全ての言語における異なるLLMのパフォーマンスランキングは、ほぼ同じである。
2. 異なる大きさのLLMは同じ部分的な性能を有する。
3) 異なる言語におけるLlaMa2の性能と事前学習コーパスの割合との間には強い相関関係がある。
これらの結果から,LLMの言語性能を測定する指標として,Language Rankerが利用可能であることが示唆された。
関連論文リスト
- Hire a Linguist!: Learning Endangered Languages with In-Context
Linguistic Descriptions [52.95579788485411]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳(メタデータ) (2024-02-28T03:44:01Z) - Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。
我々の研究は、Llama2の翻訳能力について論じている。
実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳(メタデータ) (2024-02-19T15:07:32Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。
Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。
その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文 参考訳(メタデータ) (2023-11-16T09:35:50Z) - How Multilingual is Multilingual LLM? [20.90512352559827]
本研究では,101言語にまたがる徹底的な分析を行うことにより,Large Language Models (LLM) の多言語能力を評価する。
それぞれのクアドラントを掘り下げることで、分類の背後にある理論的根拠を明らかにし、これらの言語をチューニングするための実行可能なガイドラインを提供します。
論文 参考訳(メタデータ) (2023-11-15T16:13:14Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。