論文の概要: Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies
- arxiv url: http://arxiv.org/abs/2311.16292v1
- Date: Mon, 27 Nov 2023 20:10:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 21:19:00.557378
- Title: Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies
- Title（参考訳）: 学生の熟達か、それともAI偽装か?
chatgptの熟練度分析と検出戦略の評価
- Authors: Kevin Wang, Seth Akins, Abdallah Mohammed, Ramon Lawrence
- Abstract要約: ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
- 参考スコア（独自算出の注目度）: 1.633179643849375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI systems such as ChatGPT have a disruptive effect on learning
and assessment. Computer science requires practice to develop skills in problem
solving and programming that are traditionally developed using assignments.
Generative AI has the capability of completing these assignments for students
with high accuracy, which dramatically increases the potential for academic
integrity issues and students not achieving desired learning outcomes. This
work investigates the performance of ChatGPT by evaluating it across three
courses (CS1,CS2,databases). ChatGPT completes almost all introductory
assessments perfectly. Existing detection methods, such as MOSS and JPlag
(based on similarity metrics) and GPTzero (AI detection), have mixed success in
identifying AI solutions. Evaluating instructors and teaching assistants using
heuristics to distinguish between student and AI code shows that their
detection is not sufficiently accurate. These observations emphasize the need
for adapting assessments and improved detection methods.
- Abstract（参考訳）: ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
コンピュータサイエンスは、伝統的に課題を用いて開発された問題解決とプログラミングのスキルを開発するための実践を必要とする。
生成aiは、高い精度でこれらの課題を完遂する能力を持ち、学術的完全性の問題や望ましい学習結果が得られない学生の可能性を劇的に増加させる。
本研究では,ChatGPTの性能を3つのコース(CS1,CS2,データベース)で評価する。
ChatGPTは、ほとんどすべての導入アセスメントを完璧に完了します。
MOSSやJPlag(類似度指標に基づく)やGPTzero(AI検出)といった既存の検出方法は、AIソリューションの識別に成功している。
学生とAIのコードを区別するためにヒューリスティックスを用いたインストラクターやアシスタントの評価は、その検出が十分に正確でないことを示している。
これらの観察は、評価の適応と検出方法の改善の必要性を強調している。
関連論文リスト
- Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳（メタデータ） (2024-07-22T06:12:21Z) - The AI Companion in Education: Analyzing the Pedagogical Potential of ChatGPT in Computer Science and Engineering [1.120999712480549]
本研究は,CSE教育におけるChatGPTの教育的ポテンシャルを包括的に分析することを目的とする。
我々は体系的なアプローチを採用し、CSE分野における多様な教育実践問題を創出する。
我々の調査によると、概念知識クエリのような特定の質問タイプは、一般的にChatGPTに重大な課題を生じさせません。
論文 参考訳（メタデータ） (2024-04-23T21:42:30Z) - GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education [0.0]
本研究では,修正された機械生成コンテンツと対向する6つの主要生成AI(GenAI)テキスト検出器の有効性について検討した。
その結果、既に低い精度(39.5%)の検出器は、操作された内容に直面すると、大きな精度(17.4%)の低下を示すことが示された。
正確さの限界と偽の告発の可能性は、これらのツールが学術的完全性に違反したかどうかを判断するために現在推奨できないことを示している。
論文 参考訳（メタデータ） (2024-03-28T04:57:13Z) - GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。
本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
論文 参考訳（メタデータ） (2024-03-09T13:56:25Z) - ChatGPT is not a pocket calculator -- Problems of AI-chatbots for
teaching Geography [0.11049608786515837]
ChatGPTは、評価の妥当性を脅かすため、不正である可能性がある。
地理とGIScienceの質問に回答する際のChatGPTの質に関する予備調査に基づいて,この仮定がかなり単純であることを実証した。
論文 参考訳（メタデータ） (2023-07-03T15:35:21Z) - Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses [15.642614735026106]
大学レベル32科目におけるChatGPTの成績を比較した。
また,ChatGPTの成績は,多くの科目における生徒の成績と同等であることがわかった。
このツールを使用する学生や、これを盗作として扱う教育者の間では、新たなコンセンサスが高まっている。
論文 参考訳（メタデータ） (2023-05-07T10:37:51Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - ChatGPT: The End of Online Exam Integrity? [0.0]
本研究では,最近開発された人工知能(AI)エージェントであるChatGPTの高レベル認知タスクの実行能力を評価した。
オンライン試験における学術的不正行為のツールとしてChatGPTが使われる可能性への懸念が高まっている。
論文 参考訳（メタデータ） (2022-12-19T08:15:16Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳（メタデータ） (2022-06-16T11:44:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。