Fugu-MT 論文翻訳(概要): Cross-Language Assessment of Mathematical Capability of ChatGPT

論文の概要: Cross-Language Assessment of Mathematical Capability of ChatGPT

arxiv url: http://arxiv.org/abs/2405.11264v1
Date: Sat, 18 May 2024 11:29:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 18:38:17.592453
Title: Cross-Language Assessment of Mathematical Capability of ChatGPT
Title（参考訳）: ChatGPTの数学的機能に関するクロスランゲージ評価
Authors: Gargi Sathe, Aneesh Shamraj, Aditya Surve, Nahush Patil, Kumkum Saxena,
Abstract要約: 本稿では,Hindi,Gujarati,Marathiなどの多言語にわたってChatGPTの数学的能力を評価する。 OpenAIによるGPT-3.5に基づくChatGPTは、自然言語の理解と生成能力に大きな注目を集めている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents an evaluation of the mathematical capability of ChatGPT across diverse languages like Hindi, Gujarati, and Marathi. ChatGPT, based on GPT-3.5 by OpenAI, has garnered significant attention for its natural language understanding and generation abilities. However, its performance in solving mathematical problems across multiple natural languages remains a comparatively unexplored area, especially in regional Indian languages. In this paper, we explore those capabilities as well as using chain-of-thought prompting to figure out if it increases the accuracy of responses as much as it does in the English language and provide insights into the current limitations.
Abstract（参考訳）: 本稿では,Hindi,Gujarati,Marathiなどの多言語にわたってChatGPTの数学的能力を評価する。 OpenAIによるGPT-3.5に基づくChatGPTは、自然言語の理解と生成能力に大きな注目を集めている。しかし、複数の自然言語にまたがる数学的問題の解法におけるその性能は、特にインドの地域言語において、比較的未探索の領域である。本稿では,これらの能力とチェーン・オブ・シントを用いて,英語と同じように応答の精度が向上するかどうかを判断し,現状の限界について考察する。

関連論文リスト

Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into the Morphological Capabilities of a Large Language Model [23.60677380868016]
大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。 ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
論文参考訳（メタデータ） (2023-10-23T17:21:03Z)
GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP [21.6253870440136]
本研究は,44の言語理解・生成タスクを含むChatGPTの大規模自動・人為的評価を行う。以上の結果から,ChatGPTは英語における顕著な性能にもかかわらず,アラビア語を微調整した小型モデルでは一貫して上回っていることが示唆された。
論文参考訳（メタデータ） (2023-05-24T10:12:39Z)
ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文参考訳（メタデータ） (2023-04-12T05:08:52Z)
ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
論文参考訳（メタデータ） (2023-04-06T18:42:47Z)
To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文参考訳（メタデータ） (2023-04-04T03:04:28Z)
Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing [4.13365552362244]
ChatGPTはチャットボット、コンテンツ生成、言語翻訳、パーソナライズされたレコメンデーション、医療診断や治療など、多くの分野でうまく適用されてきた。これらの応用におけるその成功は、人間のような応答を生成し、自然言語を理解し、異なる文脈に適応する能力に起因している。この記事では、ChatGPTとその応用、利点、限界について概観する。
論文参考訳（メタデータ） (2023-03-27T21:27:58Z)
Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文参考訳（メタデータ） (2023-02-08T09:44:51Z)
A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文参考訳（メタデータ） (2023-02-06T04:21:59Z)
XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
論文参考訳（メタデータ） (2021-04-15T12:26:12Z)
SIGTYP 2020 Shared Task: Prediction of Typological Features [78.95376120154083]
タイポロジーKBが広く採用されるのを妨げる大きな欠点は、人口が少ないことである。類型的特徴は相互に相関することが多いため、それらを予測し、自動的に類型的KBを投入することができる。全体として、このタスクは5つのチームから8つの応募を惹きつけた。
論文参考訳（メタデータ） (2020-10-16T08:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。