論文の概要: A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating

• arxiv url: http://arxiv.org/abs/2402.14881v1
• Date: Wed, 21 Feb 2024 23:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 16:50:54.862139
• Title: A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating
• Title（参考訳）: ChatGPTによる加熱に対するテスト質問の脆弱性に関する検討
• Authors: Shanker Ram and Chen Qian
• Abstract要約: ChatGPTはテキストのプロンプトを正確に答えることができる。 多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
• 参考スコア（独自算出の注目度）: 14.113742357609285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ChatGPT is a chatbot that can answer text prompts fairly accurately, even performing very well on postgraduate-level questions. Many educators have found that their take-home or remote tests and exams are vulnerable to ChatGPT-based cheating because students may directly use answers provided by tools like ChatGPT. In this paper, we try to provide an answer to an important question: how well ChatGPT can answer test questions and how we can detect whether the questions of a test can be answered correctly by ChatGPT. We generated ChatGPT's responses to the MedMCQA dataset, which contains over 10,000 medical school entrance exam questions. We analyzed the responses and uncovered certain types of questions ChatGPT answers more inaccurately than others. In addition, we have created a basic natural language processing model to single out the most vulnerable questions to ChatGPT in a collection of questions or a sample exam. Our tool can be used by test-makers to avoid ChatGPT-vulnerable test questions.
• Abstract（参考訳）: chatgptは、テキストプロンプトに比較的正確に答えるチャットボットで、大学院レベルの質問でも非常にうまく機能する。 多くの教育者は、ChatGPTのようなツールから直接回答を利用できるため、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。 本稿では,ChatGPTがテスト質問にどの程度うまく答えられるか,テストの質問がChatGPTによって正しく答えられるかどうかをどうやって検出できるかという,重要な質問に対する回答を提案する。 MedMCQAデータセットに対するChatGPTの反応を作成した。 回答を解析し,ChatGPTが他の質問よりも不正確な回答を示した。 さらに我々は,ChatGPTに対する最も脆弱な質問を,質問の収集やサンプル試験で抽出する,基本的な自然言語処理モデルを構築した。 テストマニュファクチャはChatGPT-vulnerable testの質問を避けるために,テストメーカが使用することができる。

関連論文リスト

• Can ChatGPT Pass a Theory of Computing Course? [0.22940141855172028]
  われわれは,ChatGPTのToCコース合格能力を評価した。 ToCの質問と回答のデータベースを作成し、トピックや構造に関する他のToCオファリングの選択に対応する。
  論文  参考訳（メタデータ） (2024-07-10T15:34:06Z)
• ChatGPT Incorrectness Detection in Software Reviews [0.38233569758620056]
  そこで我々は,ChatGPT応答における誤りを自動的に検出するCID(ChatGPT Incorrectness Detector)というツールを開発した。 ライブラリ選択のベンチマーク研究において、CIDはF1スコア0.74～0.75でChatGPTからの誤った応答を検出できることを示した。
  論文  参考訳（メタデータ） (2024-03-25T00:50:27Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
  Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。 また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。 分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
  論文  参考訳（メタデータ） (2023-08-04T13:23:20Z)
• Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
  曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。 回答は記録され、議論され、その強みと弱点を強調します。 その結果,ChatGPT-4はChatGPT-3.5より優れていた。
  論文  参考訳（メタデータ） (2023-05-30T11:18:05Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
  大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。 特にChatGPTは,広く利用されており,アクセスしやすいLLMである。 我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
  論文  参考訳（メタデータ） (2023-03-29T03:05:43Z)
• Analyzing ChatGPT's Aptitude in an Introductory Computer Engineering Course [6.531546527140474]
  ChatGPTは、様々な質問に対して可塑性で人間に聞こえるテキストを生成できるツールである。 この研究は、初歩的なコンピュータ工学コースにおいて、クイズ、宿題、試験、実験室の質問に答えることにおけるChatGPTの適性を評価する。
  論文  参考訳（メタデータ） (2023-03-13T16:22:43Z)
• Let's have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations [0.0]
  Chat Generative Pre-trained Transformerは、ChatGPTとしてよく知られたもので、人間に似た文を生成し、一貫性のあるエッセイを書くことができる。 医療、教育、研究など様々な分野におけるChatGPTの応用の可能性を強調した。 有望な結果にもかかわらず、ChatGPTにはいくつかのプライバシーと倫理上の懸念がある。
  論文  参考訳（メタデータ） (2023-02-27T14:26:29Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。