論文の概要: How Good are Commercial Large Language Models on African Languages?

• arxiv url: http://arxiv.org/abs/2305.06530v1
• Date: Thu, 11 May 2023 02:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 16:16:19.646015
• Title: How Good are Commercial Large Language Models on African Languages?
• Title（参考訳）: アフリカの言語上での商業的大規模言語モデルはどのくらい良いか?
• Authors: Jessica Ojo and Kelechi Ogueji
• Abstract要約: 本研究では,8つのアフリカの言語を対象とした2つのタスク(機械翻訳とテキスト分類)における商業的大規模言語モデルの予備的分析を行う。 この結果から, 商業言語モデルがアフリカ語で低水準のパフォーマンスを生んでいることが示唆された。 一般論として,アフリカの言語が商業的な大規模言語モデルでよく表現されていることを保証するために,我々の研究成果はコール・ツー・アクションとして提示される。
• 参考スコア（独自算出の注目度）: 0.012691047660244334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Natural Language Processing (NLP) has led to the proliferation of large pretrained language models. These models have been shown to yield good performance, using in-context learning, even on unseen tasks and languages. They have also been exposed as commercial APIs as a form of language-model-as-a-service, with great adoption. However, their performance on African languages is largely unknown. We present a preliminary analysis of commercial large language models on two tasks (machine translation and text classification) across eight African languages, spanning different language families and geographical areas. Our results suggest that commercial language models produce below-par performance on African languages. We also find that they perform better on text classification than machine translation. In general, our findings present a call-to-action to ensure African languages are well represented in commercial large language models, given their growing popularity.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、大規模な事前学習言語モデルの普及につながっている。 これらのモデルは、未認識のタスクや言語でも、コンテキスト内学習を使用して、優れたパフォーマンスをもたらすことが示されている。 また、言語モデル・アズ・ア・サービスという形で商用APIとして公開されており、非常に採用されている。 しかし、アフリカ語での演奏はほとんど分かっていない。 本研究では,8つのアフリカの言語にまたがる2つのタスク(機械翻訳とテキスト分類)における商業的大規模言語モデルの予備的分析を行う。 この結果から, 商業言語モデルがアフリカ語で低水準のパフォーマンスを生んでいることが示唆された。 また,機械翻訳よりもテキスト分類が優れていることがわかった。 一般論として,アフリカ語が商業的な大言語モデルで十分に表現されていることを確認すべく,我々の研究結果はコール・ツー・アクションを提示する。

関連論文リスト

• IrokoBench: A New Benchmark for African Languages in the Age of Large Language Models [18.083861654053585]
  IrokoBenchは17の原型的に異なる低リソースのアフリカ言語のための人間翻訳ベンチマークデータセットである。 IrokoBenchを使って、10のオープンおよび6つのプロプライエタリ言語モデルでゼロショット、少数ショット、および翻訳テストの設定(テストセットを英語に翻訳する)を評価します。 オープンモデルとプロプライエタリモデルの間には大きなパフォーマンスギャップがあり、最高パフォーマンスのオープンモデルであるGemma 2 27Bは、最高のパフォーマンスのプロプライエタリモデルであるGPT-4oのパフォーマンスの63%に過ぎません。
  論文  参考訳（メタデータ） (2024-06-05T15:23:08Z)
• How good are Large Language Models on African Languages? [18.660783984850845]
  アフリカの60言語にまたがる6つのタスクにおける4つのポピュラーな大言語モデル(mT0, Aya, LLaMa 2, GPT-4)の分析を行った。 以上の結果から,全てのLLMはアフリカの言語では性能が低いことが示唆され,高リソース言語に比べて性能の差が大きいことが示唆された。
  論文  参考訳（メタデータ） (2023-11-14T08:10:14Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models [68.29126169579132]
  APIベンダは、使用量に基づいてユーザを課金する。具体的には、基盤となる言語モデルによって処理されたトークンの数や生成されるトークンの数に基づいて。 しかし、トークンを構成するのは、異なる言語で同じ情報を伝達するのに必要なトークンの数に大きなばらつきに依存するトレーニングデータとモデルである。 我々は, OpenAI の言語モデル API のコストと有用性について,22言語で多言語ベンチマークを行った。
  論文  参考訳（メタデータ） (2023-05-23T05:46:45Z)
• BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
  BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。 既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。 データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
  論文  参考訳（メタデータ） (2022-12-19T15:24:45Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)
• A Few Thousand Translations Go a Long Way! Leveraging Pre-trained Models for African News Translation [25.05948665615943]
  我々は16の言語をカバーする新しいアフリカのニュースコーパスを作成し、そのうち8つの言語は既存の評価データセットには含まれない。 提案手法は,少量の高品質翻訳データに基づいて,事前訓練済みの大規模モデルを微調整することである。
  論文  参考訳（メタデータ） (2022-05-04T12:11:47Z)
• Multilingual Language Model Adaptive Fine-Tuning: A Study on African Languages [19.067718464786463]
  我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。 多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。 当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
  論文  参考訳（メタデータ） (2022-04-13T16:13:49Z)
• AfroMT: Pretraining Strategies and Reproducible Benchmarks for Translation of 8 African Languages [94.75849612191546]
  AfroMTは、広く話されている8つのアフリカ言語のための標準化され、クリーンで再現可能な機械翻訳ベンチマークである。 これらの言語の特徴を考慮に入れたシステム診断のための分析ツール群を開発した。 11言語での事前トレーニングでは,強いベースラインに対して最大2つのBLEUポイントのゲインが得られた。
  論文  参考訳（メタデータ） (2021-09-10T07:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。