論文の概要: Inappropriate Benefits and Identification of ChatGPT Misuse in
Programming Tests: A Controlled Experiment
- arxiv url: http://arxiv.org/abs/2309.16697v1
- Date: Fri, 11 Aug 2023 06:42:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 06:00:52.930894
- Title: Inappropriate Benefits and Identification of ChatGPT Misuse in
Programming Tests: A Controlled Experiment
- Title（参考訳）: プログラミングテストにおける不適切な便益とChatGPT誤用の同定:制御実験
- Authors: Hapnes Toba, Oscar Karnalim, Meliana Christianti Johan, Terutoshi
Tada, Yenni Merlin Djajalaksana, Tristan Vivaldy
- Abstract要約: 学生はChatGPTにプログラミングタスクを完了させ、ソースの適切な認識なしに他人の作業からソリューションを生成することができる。
完了時間とプログラミング性能の観点から,ChatGPTを用いた不適切なメリットを測定するための制御実験を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While ChatGPT may help students to learn to program, it can be misused to do
plagiarism, a breach of academic integrity. Students can ask ChatGPT to
complete a programming task, generating a solution from other people's work
without proper acknowledgment of the source(s). To help address this new kind
of plagiarism, we performed a controlled experiment measuring the inappropriate
benefits of using ChatGPT in terms of completion time and programming
performance. We also reported how to manually identify programs aided with
ChatGPT (via student behavior while using ChatGPT) and student perspective of
ChatGPT (via a survey). Seventeen students participated in the experiment. They
were asked to complete two programming tests. They were divided into two groups
per the test: one group should complete the test without help while the other
group should complete it with ChatGPT. Our study shows that students with
ChatGPT complete programming tests two times faster than those without ChatGPT,
though their programming performance is comparable. The generated code is
highly efficient and uses complex data structures like lists and dictionaries.
Based on the survey results, ChatGPT is recommended to be used as an assistant
to complete programming tasks and other general assignments. ChatGPT will be
beneficial as a reference as other search engines do. Logical and critical
thinking are needed to validate the result presented by ChatGPT.
- Abstract（参考訳）: ChatGPTは、学生がプログラミングを学ぶのを助けるかもしれないが、それは、学術的完全性に反する盗作行為に誤用される可能性がある。
学生はChatGPTにプログラミングタスクを完了させ、ソースの適切な承認なしに他人の作業からソリューションを生成することができる。
そこで我々は,ChatGPTを用いた不適切なメリットを,完成時間とプログラミング性能の観点から評価する制御実験を行った。
また,ChatGPTによる支援プログラム(ChatGPTを用いた学生行動)と,ChatGPTの学生視点(調査)を手動で識別する方法も報告した。
17人の学生が実験に参加した。
2つのプログラミングテストの完了を要請された。
1つのグループは助けなしにテストを完了し、もう1つのグループはchatgptでそれを完了させる。
本研究は,ChatGPT の学生が ChatGPT の学生より2倍高速であることを示すが,プログラム性能は同等である。
生成されたコードは効率的で、リストや辞書のような複雑なデータ構造を使用する。
調査の結果に基づき、chatgptはプログラミングタスクやその他の一般的な課題を完了するためのアシスタントとして使用されることが推奨されている。
ChatGPTは、他の検索エンジンと同様、参考として役に立つだろう。
ChatGPTの結果を検証するには論理的および批判的思考が必要である。
関連論文リスト
- ChatGPT and Human Synergy in Black-Box Testing: A Comparative Analysis [0.0]
ChatGPTは、一般的にヒトの参加者が作り出したものと一致するか、わずかに上回るテストケースを生成することができる。
ChatGPTが人間と協力すると、それぞれが単独で達成できるものよりも、はるかに多くのテスト視点をカバーできる。
論文 参考訳（メタデータ） (2024-01-25T03:42:17Z) - Integrating ChatGPT in a Computer Science Course: Students Perceptions
and Suggestions [0.0]
本経験報告では,ChatGPTをコンピュータサイエンス科目に統合するための学生の認識と提案について考察する。
計算機科学科目では,ChatGPTを用いて慎重にバランスをとることが重要である。
論文 参考訳（メタデータ） (2023-12-22T10:48:34Z) - Can ChatGPT Play the Role of a Teaching Assistant in an Introductory
Programming Course? [1.8197265299982013]
本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。
本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
論文 参考訳（メタデータ） (2023-12-12T15:06:44Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - Chatbot-supported Thesis Writing: An Autoethnographic Report [0.0]
チャットGPTは、学士論文や学生研究論文など、学習者がテキストを生成する必要のあるフォーマットに適用される。
ChatGPTは、論文を書く上で有益なツールとして評価される。
しかし、決定的な論文を書くには、学習者の意味のある関与が必要である。
論文 参考訳（メタデータ） (2023-10-14T09:09:26Z) - ChatGPT: A Study on its Utility for Ubiquitous Software Engineering
Tasks [2.084078990567849]
ChatGPT (Chat Generative Pre-trained Transformer) - OpenAIが2022年11月30日に立ち上げた。
本研究では,ChatGPTが一般的なソフトウェアエンジニアリングタスクにどのように役立つかを検討する。
論文 参考訳（メタデータ） (2023-05-26T11:29:06Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。