論文の概要: Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies
- arxiv url: http://arxiv.org/abs/2311.16292v1
- Date: Mon, 27 Nov 2023 20:10:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 21:19:00.557378
- Title: Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies
- Title(参考訳): 学生の熟達か、それともAI偽装か?
chatgptの熟練度分析と検出戦略の評価
- Authors: Kevin Wang, Seth Akins, Abdallah Mohammed, Ramon Lawrence
- Abstract要約: ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
- 参考スコア(独自算出の注目度): 1.633179643849375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI systems such as ChatGPT have a disruptive effect on learning
and assessment. Computer science requires practice to develop skills in problem
solving and programming that are traditionally developed using assignments.
Generative AI has the capability of completing these assignments for students
with high accuracy, which dramatically increases the potential for academic
integrity issues and students not achieving desired learning outcomes. This
work investigates the performance of ChatGPT by evaluating it across three
courses (CS1,CS2,databases). ChatGPT completes almost all introductory
assessments perfectly. Existing detection methods, such as MOSS and JPlag
(based on similarity metrics) and GPTzero (AI detection), have mixed success in
identifying AI solutions. Evaluating instructors and teaching assistants using
heuristics to distinguish between student and AI code shows that their
detection is not sufficiently accurate. These observations emphasize the need
for adapting assessments and improved detection methods.
- Abstract(参考訳): ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
コンピュータサイエンスは、伝統的に課題を用いて開発された問題解決とプログラミングのスキルを開発するための実践を必要とする。
生成aiは、高い精度でこれらの課題を完遂する能力を持ち、学術的完全性の問題や望ましい学習結果が得られない学生の可能性を劇的に増加させる。
本研究では,ChatGPTの性能を3つのコース(CS1,CS2,データベース)で評価する。
ChatGPTは、ほとんどすべての導入アセスメントを完璧に完了します。
MOSSやJPlag(類似度指標に基づく)やGPTzero(AI検出)といった既存の検出方法は、AIソリューションの識別に成功している。
学生とAIのコードを区別するためにヒューリスティックスを用いたインストラクターやアシスタントの評価は、その検出が十分に正確でないことを示している。
これらの観察は、評価の適応と検出方法の改善の必要性を強調している。
関連論文リスト
- Towards Goal-oriented Intelligent Tutoring Systems in Online Education [69.06930979754627]
目標指向知能チューニングシステム(GITS)という新しいタスクを提案する。
GITSは,演習や評価のカスタマイズを戦略的に計画することで,学生の指定概念の習得を可能にすることを目的としている。
PAI(Planning-Assessment-Interaction)と呼ばれるグラフに基づく新しい強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-03T12:37:16Z) - Assessing Student Errors in Experimentation Using Artificial
Intelligence and Large Language Models: A Comparative Study with Human Raters [9.899633398596672]
学生の誤りを自動的に識別するLarge Language Models (LLMs) の可能性を検討する。
GPT-3.5とGPT-4をベースとしたAIシステムを開発・試験した。
以上の結果から,AIシステムとレーダ間の誤差検出における精度の差が示唆された。
論文 参考訳(メタデータ) (2023-08-11T12:03:12Z) - ChatGPT is not a pocket calculator -- Problems of AI-chatbots for
teaching Geography [0.11049608786515837]
ChatGPTは、評価の妥当性を脅かすため、不正である可能性がある。
地理とGIScienceの質問に回答する際のChatGPTの質に関する予備調査に基づいて,この仮定がかなり単純であることを実証した。
論文 参考訳(メタデータ) (2023-07-03T15:35:21Z) - Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
論文 参考訳(メタデータ) (2023-05-19T17:25:54Z) - Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses [15.642614735026106]
大学レベル32科目におけるChatGPTの成績を比較した。
また,ChatGPTの成績は,多くの科目における生徒の成績と同等であることがわかった。
このツールを使用する学生や、これを盗作として扱う教育者の間では、新たなコンセンサスが高まっている。
論文 参考訳(メタデータ) (2023-05-07T10:37:51Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-04T03:04:28Z) - ChatGPT: The End of Online Exam Integrity? [0.0]
本研究では,最近開発された人工知能(AI)エージェントであるChatGPTの高レベル認知タスクの実行能力を評価した。
オンライン試験における学術的不正行為のツールとしてChatGPTが使われる可能性への懸念が高まっている。
論文 参考訳(メタデータ) (2022-12-19T08:15:16Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic
Approach [59.77710485234197]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳(メタデータ) (2022-09-07T10:09:12Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Automatic Gesture Recognition in Robot-assisted Surgery with
Reinforcement Learning and Tree Search [63.07088785532908]
共同手術におけるジェスチャー分割と分類のための強化学習と木探索に基づく枠組みを提案する。
我々のフレームワークは,JIGSAWSデータセットのサチューリングタスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法よりも一貫して優れています。
論文 参考訳(メタデータ) (2020-02-20T13:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。