論文の概要: ChatGPT Performance on Standardized Testing Exam -- A Proposed Strategy
for Learners
- arxiv url: http://arxiv.org/abs/2309.14519v1
- Date: Mon, 25 Sep 2023 20:25:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 15:45:12.260228
- Title: ChatGPT Performance on Standardized Testing Exam -- A Proposed Strategy
for Learners
- Title（参考訳）: 標準試験におけるchatgpt性能 -学習者のための戦略の提案-
- Authors: Umer Farooq, Saira Anwar
- Abstract要約: 本研究は,ChatGPTの問題解決能力とその標準化されたテスト準備への応用について,GRE定量試験に焦点をあてて検討する。
GRE定量領域においてChatGPTが様々な質問タイプに対してどのように機能するか,また,質問の修正がその正確性に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study explores the problem solving capabilities of ChatGPT and its
prospective applications in standardized test preparation, focusing on the GRE
quantitative exam. Prior research has shown great potential for the utilization
of ChatGPT for academic purposes in revolutionizing the approach to studying
across various disciplines. We investigate how ChatGPT performs across various
question types in the GRE quantitative domain, and how modifying question
prompts impacts its accuracy. More specifically this study addressed two
research questions: 1. How does ChatGPT perform in answering GRE-based
quantitative questions across various content areas? 2. How does the accuracy
of ChatGPT vary with modifying the question prompts? The dataset consisting of
100 randomly selected GRE quantitative questions was collected from the ETS
official guide to GRE test preparation. We used quantitative evaluation to
answer our first research question, and t-test to examine the statistical
association between prompt modification and ChatGPT's accuracy. Results show a
statistical improvement in the ChatGPT's accuracy after applying instruction
priming and contextual prompts to the original questions. ChatGPT showed 84%
accuracy with the modified prompts compared to 69% with the original data. The
study discusses the areas where ChatGPT struggled with certain questions and
how modifications can be helpful for preparing for standardized tests like GRE
and provides future directions for prompt modifications.
- Abstract（参考訳）: 本研究は,ChatGPTの問題解決能力とその標準化されたテスト準備への応用について,GRE定量試験を中心に検討する。
先行研究は、様々な分野にまたがる研究へのアプローチを革新する学術的目的にchatgptを利用する大きな可能性を見出している。
GRE定量領域においてChatGPTが様々な質問タイプに対してどのように機能するか,また,質問の修正がその精度に与える影響について検討する。
具体的には、この研究は2つの研究課題に対処した。
1.様々なコンテンツ領域におけるGREに基づく量的質問への回答におけるChatGPTの効果
2.ChatGPTの精度は質問プロンプトの変更によってどう変わるか?
ランダムに選択された100のGRE量質問からなるデータセットを,ETSの公式ガイドから収集した。
最初の研究課題に答えるために定量的評価を用い、t-test を用いて即時修正とChatGPT の精度の統計的関連について検討した。
その結果,ChatGPTの精度は,命令プライミングと文脈的プロンプトを適用して統計的に向上した。
ChatGPTは修正プロンプトで84%の精度を示し、元のデータでは69%であった。
この研究は、ChatGPTが特定の疑問に苦しんだ領域と、GREのような標準化されたテストの準備にどのように修正が役立つかを論じ、迅速な修正のための今後の方向性を提供する。
関連論文リスト
- A Study on the Vulnerability of Test Questions against ChatGPT-based
Cheating [14.113742357609285]
ChatGPTはテキストのプロンプトを正確に答えることができる。
多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
論文 参考訳（メタデータ） (2024-02-21T23:51:06Z) - Evaluating ChatGPT as a Question Answering System: A Comprehensive
Analysis and Comparison with Existing Models [0.0]
本稿では,質問応答システム(QAS)としてのChatGPTについて検討する。
主な焦点は、提供された段落から回答を抽出する際のChatGPTの熟練度を評価することである。
評価では幻覚が強調され、ChatGPTは提供された文脈で回答が得られない質問に対して応答を提供する。
論文 参考訳（メタデータ） (2023-12-11T08:49:18Z) - Comparative Analysis of ChatGPT, GPT-4, and Microsoft Bing Chatbots for GRE Test [0.0]
本研究では,Bing,ChatGPT,GPT-4の3つの人工知能チャットボットが,標準化されたテストから質問に答える上で,いかにうまく機能するかを解析する。
量的推論の異なる137の質問と、言語カテゴリーを持つ157の質問が、それらの能力を評価するために使用された。
論文 参考訳（メタデータ） (2023-11-26T05:27:35Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - Performance of ChatGPT on USMLE: Unlocking the Potential of Large
Language Models for AI-Assisted Medical Education [0.0]
本研究は,ChatGPTが複雑な医学的および臨床的な疑問に答える上で,いかに信頼性が高いかを検討した。
本研究は2方向ANOVAとポストホック解析を用いて得られた結果について検討した。
ChatGPTによる回答は、通常のGoogle検索結果よりもコンテキスト指向であることが判明した。
論文 参考訳（メタデータ） (2023-06-30T19:53:23Z) - Investigating the Effectiveness of ChatGPT in Mathematical Reasoning and
Problem Solving: Evidence from the Vietnamese National High School Graduation
Examination [0.0]
データセットには、知識(K)、理解(C)、応用(A)、高適用(H)の4つのレベルに分けられた250の質問が含まれている。
この研究は、ChatGPTが指数関数や対数関数、幾何学的進行、算術的進行といった問題に対する回答を提供するのに大きく成功したことを発見した。
ChatGPTはSAT Mathの競争で70%ドル、VNHSGEの数学(58.8%)が続いた。
論文 参考訳（メタデータ） (2023-06-10T02:01:02Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。