論文の概要: ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning
- arxiv url: http://arxiv.org/abs/2304.05613v1
- Date: Wed, 12 Apr 2023 05:08:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 16:06:57.479605
- Title: ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning
- Title（参考訳）: chatgpt beyond english:多言語学習における大規模言語モデルの包括的評価に向けて
- Authors: Viet Dac Lai, Nghia Trung Ngo, Amir Pouran Ben Veyseh, Hieu Man,
Franck Dernoncourt, Trung Bui, Thien Huu Nguyen
- Abstract要約: 大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
- 参考スコア（独自算出の注目度）: 70.57126720079971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the last few years, large language models (LLMs) have emerged as the
most important breakthroughs in natural language processing (NLP) that
fundamentally transform research and developments in the field. ChatGPT
represents one of the most exciting LLM systems developed recently to showcase
impressive skills for language generation and highly attract public attention.
Among various exciting applications discovered for ChatGPT in English, the
model can process and generate texts for multiple languages due to its
multilingual training data. Given the broad adoption of ChatGPT for English in
different problems and areas, a natural question is whether ChatGPT can also be
applied effectively for other languages or it is necessary to develop more
language-specific technologies. The answer to this question requires a thorough
evaluation of ChatGPT over multiple tasks with diverse languages and large
datasets (i.e., beyond reported anecdotes), which is still missing or limited
in current research. Our work aims to fill this gap for the evaluation of
ChatGPT and similar LLMs to provide more comprehensive information for
multilingual NLP applications. While this work will be an ongoing effort to
include additional experiments in the future, our current paper evaluates
ChatGPT on 7 different tasks, covering 37 diverse languages with high, medium,
low, and extremely low resources. We also focus on the zero-shot learning
setting for ChatGPT to improve reproducibility and better simulate the
interactions of general users. Compared to the performance of previous models,
our extensive experimental results demonstrate a worse performance of ChatGPT
for different NLP tasks and languages, calling for further research to develop
better models and understanding for multilingual learning.
- Abstract（参考訳）: ここ数年、大規模言語モデル (LLM) が自然言語処理(NLP)における最も重要なブレークスルーとして現れ、この分野の研究と発展を根本的に変えてきた。
ChatGPTは、最近開発された最もエキサイティングなLLMシステムの1つで、言語生成の素晴らしいスキルを示し、大衆の注目を集めています。
英語のChatGPTで発見された様々なエキサイティングなアプリケーションの中で、このモデルは多言語学習データのために複数の言語用のテキストを処理および生成することができる。
様々な問題や分野において、ChatGPTが英語に広く採用されていることを考えると、ChatGPTは他の言語にも効果的に適用できるのか、言語固有の技術を開発する必要があるのか、という自然な疑問がある。
この質問に対する答えは、さまざまな言語と大規模なデータセット(すなわち、報告された逸話を超えて)を持つ複数のタスクに対してChatGPTを徹底的に評価する必要がある。
本研究の目的は,多言語NLPアプリケーションに対してより包括的な情報を提供するため,ChatGPTとLLMの評価のギャップを埋めることである。
本研究は今後の追加実験の実施に向けた取り組みであるが,本論文では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
また,ChatGPTのゼロショット学習設定に着目し,再現性を向上し,一般ユーザのインタラクションをシミュレートする。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下しており,より優れたモデル開発と多言語学習の理解が求められている。
関連論文リスト
- Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into
the Morphological Capabilities of a Large Language Model [23.60677380868016]
大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。
そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。
ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
論文 参考訳（メタデータ） (2023-10-23T17:21:03Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing [4.13365552362244]
ChatGPTはチャットボット、コンテンツ生成、言語翻訳、パーソナライズされたレコメンデーション、医療診断や治療など、多くの分野でうまく適用されてきた。
これらの応用におけるその成功は、人間のような応答を生成し、自然言語を理解し、異なる文脈に適応する能力に起因している。
この記事では、ChatGPTとその応用、利点、限界について概観する。
論文 参考訳（メタデータ） (2023-03-27T21:27:58Z) - Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
ChatGPTは機械翻訳(MT)の優れた機能を示す
いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
論文 参考訳（メタデータ） (2023-03-24T03:35:21Z) - ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use
Case of Automatic Genre Identification [0.0]
ChatGPTは自然言語生成タスクにおいて強力な能力を示しており、研究者は自然にその能力がどこで終わるかを探求している。
本稿では,ChatGPTとXLM-RoBERTa言語モデルを比較した。
その結果、ChatGPTは、どちらのモデルでもこれまで見られなかったデータセットに適用した場合、微調整されたモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-03-07T14:59:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。