論文の概要: Quantifying Multilingual Performance of Large Language Models Across Languages

• arxiv url: http://arxiv.org/abs/2404.11553v1
• Date: Wed, 17 Apr 2024 16:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 13:06:14.633655
• Title: Quantifying Multilingual Performance of Large Language Models Across Languages
• Title（参考訳）: 言語全体にわたる大規模言語モデルの多言語性能の定量化
• Authors: Zihao Li, Yucheng Shi, Zirui Liu, Fan Yang, Ninghao Liu, Mengnan Du,
• Abstract要約: LLM(Large Language Models)のトレーニングプロセスには、広範なテキストコーパスが必要である。 Language Rankerは、これらの言語上でのLLMのパフォーマンスに応じて、異なる言語をベンチマークし、ランク付けすることを目的としている。 異なる言語におけるLlaMa2の性能と事前学習コーパスの割合との間には強い相関関係がある。
• 参考スコア（独自算出の注目度）: 49.596454686818106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training process of Large Language Models (LLMs) requires extensive text corpus. However, these data are often unevenly distributed in different languages. As a result, LLMs perform well on common languages, such as English, German, and French, but perform poorly on low-resource languages. However, currently there is no work to quantitatively measure the performance of LLMs in low-resource languages. To fill this gap, we proposed the Language Ranker that aims to benchmark and rank different languages according to the performance of LLMs on those languages. We employ the LLM's performance on the English corpus as a baseline to compare the performances of different languages and English. We have the following three findings: 1. The performance rankings of different LLMs in all languages are roughly the same. 2. LLMs with different sizes have the same partial order of performance. 3. There is a strong correlation between LlaMa2's performance in different languages and the proportion of the pre-training corpus. These findings illustrate that the Language Ranker can be used as an indicator to measure the language performance of LLMs.
• Abstract（参考訳）: LLM(Large Language Models)のトレーニングプロセスは、広範なテキストコーパスを必要とする。 しかし、これらのデータは、しばしば異なる言語で不均一に分散される。 その結果、LLMは英語、ドイツ語、フランス語などの共通言語でよく機能するが、低リソース言語では性能が良くない。 しかし、現在、低リソース言語におけるLLMの性能を定量的に測定する作業は行われていない。 このギャップを埋めるため,これらの言語上でのLLMの性能に応じて,異なる言語をベンチマークし,ランク付けすることを目的としたLanguage Rankerを提案する。 我々は、LLMのパフォーマンスを英語コーパスにベースラインとして使用し、異なる言語と英語のパフォーマンスを比較した。 以下の3つの発見がある。 1.全ての言語における異なるLLMのパフォーマンスランキングは、ほぼ同じである。 2. 異なる大きさのLLMは同じ部分的な性能を有する。 3) 異なる言語におけるLlaMa2の性能と事前学習コーパスの割合との間には強い相関関係がある。 これらの結果から,LLMの言語性能を測定する指標として,Language Rankerが利用可能であることが示唆された。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Pruning Multilingual Large Language Models for Multilingual Inference [28.36717615166238]
  本研究では,非英語言語におけるMLLMのゼロショット性能を向上させる方法について検討する。 まず、翻訳を行う際のMLLMの挙動を分析し、翻訳過程において重要な役割を果たす大きな特徴があることを明らかにする。
  論文  参考訳（メタデータ） (2024-09-25T13:15:50Z)
• Exploring Multilingual Probing in Large Language Models: A Cross-Language Analysis [19.37853222555255]
  大規模言語モデル(LLM)の探索技術は主に英語に焦点を合わせており、世界の言語の大部分を見下ろしている。 複数のオープンソースのLCMモデルで実験を行い、探索精度、層間の傾向、および複数の言語に対する探索ベクトル間の類似性を解析した。
  論文  参考訳（メタデータ） (2024-09-22T14:14:05Z)
• Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings [12.507989493130175]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に大きな関心を寄せている。 近年の研究では、低リソース言語におけるLLMの限界が強調されている。 英語からバングラ語、ヒンディー語、ウルドゥー語に翻訳することで、感情と憎悪の音声タスクのデータセットを提示する。
  論文  参考訳（メタデータ） (2024-08-05T05:09:23Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models [5.632410663467911]
  我々は、事前訓練された大規模言語モデル(LLM)が、アンダーリソース言語のパフォーマンスギャップを埋める可能性について検討する。 LLM は,低リソース言語における技術の現状を,かなりのマージンで容易に設定できることがわかった。 全ての言語について、人間の評価は最高のシステムで人間と同等のパフォーマンスを示すが、BLEUのスコアは英語に比べて崩壊する。
  論文  参考訳（メタデータ） (2024-02-19T16:29:40Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。