論文の概要: TARJAMAT: Evaluation of Bard and ChatGPT on Machine Translation of Ten
Arabic Varieties
- arxiv url: http://arxiv.org/abs/2308.03051v1
- Date: Sun, 6 Aug 2023 08:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:00:42.373351
- Title: TARJAMAT: Evaluation of Bard and ChatGPT on Machine Translation of Ten
Arabic Varieties
- Title(参考訳): TARJAMAT:10種類のアラビア語の機械翻訳における Bard と ChatGPT の評価
- Authors: Karima Kadaoui, Samar M. Magdy, Abdul Waheed, Md Tawkat Islam
Khondaker, Ahmed Oumar El-Shangiti, El Moatez Billah Nagoudi, Muhammad
Abdul-Mageed
- Abstract要約: 人間の指示に従うように微調整された大規模言語モデル(LLM)が、AIのブレークスルーとして最近登場した。
これらのモデルの多言語的習熟度が報告されているにもかかわらず、その言語的傾向はいまだに十分に調査されていない。
アラビア語10種類の機械翻訳能力について, Bard と ChatGPT の徹底的な評価を行った。
- 参考スコア(独自算出の注目度): 6.625343914898585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) finetuned to follow human instructions have
recently emerged as a breakthrough in AI. Models such as Google Bard and OpenAI
ChatGPT, for example, are surprisingly powerful tools for question answering,
code debugging, and dialogue generation. Despite the purported multilingual
proficiency of these models, their linguistic inclusivity remains
insufficiently explored. Considering this constraint, we present a thorough
assessment of Bard and ChatGPT (encompassing both GPT-3.5 and GPT-4) regarding
their machine translation proficiencies across ten varieties of Arabic. Our
evaluation covers diverse Arabic varieties such as Classical Arabic, Modern
Standard Arabic, and several nuanced dialectal variants. Furthermore, we
undertake a human-centric study to scrutinize the efficacy of the most recent
model, Bard, in following human instructions during translation tasks. Our
exhaustive analysis indicates that LLMs may encounter challenges with certain
Arabic dialects, particularly those for which minimal public data exists, such
as Algerian and Mauritanian dialects. However, they exhibit satisfactory
performance with more prevalent dialects, albeit occasionally trailing behind
established commercial systems like Google Translate. Additionally, our
analysis reveals a circumscribed capability of Bard in aligning with human
instructions in translation contexts. Collectively, our findings underscore
that prevailing LLMs remain far from inclusive, with only limited ability to
cater for the linguistic and cultural intricacies of diverse communities.
- Abstract(参考訳): 人間の指示に従うように微調整された大規模言語モデル(LLM)が、AIのブレークスルーとして最近登場した。
例えば、Google BardやOpenAI ChatGPTといったモデルは、質問応答、コードのデバッグ、対話生成のための驚くほど強力なツールです。
これらのモデルの多言語的習熟度が報告されているにもかかわらず、その言語的傾向はいまだに不十分である。
この制約を考慮し,10種類のアラビア語の機械翻訳能力について, Bard と ChatGPT (GPT-3.5 と GPT-4 を併用) を徹底的に評価した。
評価は,古典アラビア語,現代標準アラビア語,数種のニュアンス方言など,多種多様なアラビア語を対象とする。
さらに,翻訳作業中の人間の指示に従う際に,最新のモデルであるbardの有効性を検証するために,人間中心の研究を行った。
我々の徹底的な分析は、LLMが特定のアラビア方言、特にアルジェリア方言やモーリタニア方言のような最小の公的なデータが存在する方言との課題に直面する可能性を示唆している。
しかし、Google Translateのような確立した商用システムに追随することもあるが、より一般的な方言との良好なパフォーマンスを示している。
さらに,翻訳文脈における人間の指示と整合するbardの周辺的機能についても分析を行った。
総じて, LLMの普及は包括的ではなく, 多様な地域社会の言語的, 文化的な複雑さに対処する能力に限られていることが示唆された。
関連論文リスト
- Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction
Following: A Case Study of Arabic [1.0878040851638]
GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。
マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
論文 参考訳(メタデータ) (2023-10-23T11:40:04Z) - ChatGPT MT: Competitive for High- (but not Low-) Resource Languages [62.178282377729566]
大規模言語モデル(LLM)は、機械翻訳(MT)を含む様々な言語タスクの実行を暗黙的に学習する。
MTコスト分析とともに,204言語を拡張した最初の実験的な証拠を提示する。
分析の結果,ChatGPTの相対的翻訳能力を決定する上で,言語リソースレベルが最も重要な特徴であることが判明した。
論文 参考訳(メタデータ) (2023-09-14T04:36:00Z) - Democratizing LLMs for Low-Resource Languages by Leveraging their
English Dominant Abilities with Linguistically-Diverse Prompts [36.939044809209456]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。
我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。
我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文 参考訳(メタデータ) (2023-06-20T08:27:47Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T12:00:24Z) - Multilingual Large Language Models Are Not (Yet) Code-Switchers [41.47534626749588]
大規模言語モデル(LLM)は、最近、幅広いタスクにおいて優れた機能を示している。
発話の中で言語を交互に行う習慣は、いまだにほとんど受け継がれていない。
LLMの現在の「多言語主義」は、本質的にはコードスイッチングテキストの習熟度を示唆していない、と我々は主張する。
論文 参考訳(メタデータ) (2023-05-23T16:50:48Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z) - Large language models effectively leverage document-level context for
literary translation, but critical errors persist [32.54546652197316]
大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。
我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
論文 参考訳(メタデータ) (2023-04-06T17:27:45Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。