論文の概要: Performance Comparison of Large Language Models on VNHSGE English
Dataset: OpenAI ChatGPT, Microsoft Bing Chat, and Google Bard
- arxiv url: http://arxiv.org/abs/2307.02288v3
- Date: Thu, 20 Jul 2023 01:13:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 17:29:12.277321
- Title: Performance Comparison of Large Language Models on VNHSGE English
Dataset: OpenAI ChatGPT, Microsoft Bing Chat, and Google Bard
- Title（参考訳）: VNHSGE英語データセットにおける大規模言語モデルの性能比較:OpenAI ChatGPT, Microsoft Bing Chat, Google Bard
- Authors: Xuan-Quy Dao
- Abstract要約: 3つの大きな言語モデル(LLM)をVNHSGEの英語データセットで比較した。
結果は、BingChatがChatGPTやBardより優れていることを示している。
BingChat、Bard、ChatGPTは、英語の習熟度でベトナムの学生を上回った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents a performance comparison of three large language models
(LLMs), namely OpenAI ChatGPT, Microsoft Bing Chat (BingChat), and Google Bard,
on the VNHSGE English dataset. The performance of BingChat, Bard, and ChatGPT
(GPT-3.5) is 92.4\%, 86\%, and 79.2\%, respectively. The results show that
BingChat is better than ChatGPT and Bard. Therefore, BingChat and Bard can
replace ChatGPT while ChatGPT is not yet officially available in Vietnam. The
results also indicate that BingChat, Bard and ChatGPT outperform Vietnamese
students in English language proficiency. The findings of this study contribute
to the understanding of the potential of LLMs in English language education.
The remarkable performance of ChatGPT, BingChat, and Bard demonstrates their
potential as effective tools for teaching and learning English at the high
school level.
- Abstract（参考訳）: 本稿では,VNHSGEの英語データセット上で,OpenAI ChatGPT,Microsoft Bing Chat(BingChat),Google Bardの3つの大規模言語モデル(LLM)の性能比較を行った。
BingChat、Bard、ChatGPT(GPT-3.5)はそれぞれ92.4\%、86\%、79.2\%である。
結果は、BingChatがChatGPTやBardより優れていることを示している。
したがって、BingChatとBardはChatGPTを置き換えることができるが、ChatGPTはベトナムでは公式には利用できない。
また,BingChat,Bard,ChatGPTは,ベトナム人学生の英語能力よりも優れていた。
本研究の成果は、英語教育におけるllmの可能性の理解に寄与している。
ChatGPT、BingChat、Bardの顕著なパフォーマンスは、高校レベルで英語を教え学習するための効果的なツールとしての可能性を示している。
関連論文リスト
- "ChatGPT, a Friend or Foe for Education?" Analyzing the User's
Perspectives on the Latest AI Chatbot Via Reddit [0.0]
この研究は、ChatGPTの教育利用に関するRedditのトップ投稿247件を分析した。
その結果,ユーザの大半が中立的な視点を採っていることがわかった。
教育におけるChatGPTの有用性については, 否定的よりも肯定的であった。
論文 参考訳（メタデータ） (2023-09-27T23:59:44Z) - ChatGPT is Good but Bing Chat is Better for Vietnamese Students [0.0]
本研究では,ベトナムの学生のニーズに応えた2つのSOTA大言語モデル,すなわちChatGPTとMicrosoft Bing Chat(BingChat)の有効性について検討した。
我々は、数学、文学、英語、物理学、化学、生物学、歴史、地理、市民教育を含む様々な分野における彼らの学術的成果の比較分析を行う。
以上の結果から, BingChatはChatGPTよりも優れた性能を示し, 文献を除けばChatGPTが優れた性能を示したことが示唆された。
論文 参考訳（メタデータ） (2023-07-17T06:36:53Z) - Phoenix: Democratizing ChatGPT across Languages [68.75163236421352]
我々は大規模な言語モデル「フェニックス」をリリースし、オープンソースの英語モデルと中国語モデルの間で競合する性能を実現した。
この作業は、特にOpenAIやローカルなゴーバーメントの制限により、人々がChatGPTを使えない国では、ChatGPTをよりアクセスしやすいものにする上で有益であると考えています。
論文 参考訳（メタデータ） (2023-04-20T16:50:04Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
ChatGPTは機械翻訳(MT)の優れた機能を示す
いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
論文 参考訳（メタデータ） (2023-03-24T03:35:21Z) - Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data [3.441021278275805]
われわれは、#chatgptでタグ付けされた英語で最も人気のある100本の動画の内容を分析した。
ビデオの多くは、エッセイを書いたりコードを書いたりするためのChatGPTの使用を奨励した。
しかし、TikTokで分析されたクリップに欠けているのは、ChatGPTが生み出すコンテンツについて、トレーニングデータに不利で不誠実な議論をするビデオだ。
論文 参考訳（メタデータ） (2023-03-09T15:46:54Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine [97.8609714773255]
機械翻訳におけるChatGPTの評価には,翻訳プロンプト,多言語翻訳,翻訳堅牢性などが含まれる。
ChatGPTは商用翻訳製品と競合するが、低リソースや遠方の言語では遅れている。
GPT-4エンジンの打ち上げにより、ChatGPTの翻訳性能は大幅に向上した。
論文 参考訳（メタデータ） (2023-01-20T08:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。