論文の概要: ChatGPT as a Solver and Grader of Programming Exams written in Spanish
- arxiv url: http://arxiv.org/abs/2409.15112v1
- Date: Mon, 23 Sep 2024 15:20:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 14:33:51.546361
- Title: ChatGPT as a Solver and Grader of Programming Exams written in Spanish
- Title（参考訳）: スペイン語で書かれたプログラミングエグゼムの解法とグレーダとしてのChatGPT
- Authors: Pablo Fernández-Saborido, Marcos Fernández-Pichel, David E. Losada,
- Abstract要約: 我々はChatGPTの能力を評価し、実際のプログラミング試験を解き、評価する。
我々の研究結果は、このAIモデルは単純なコーディングタスクを解くのにのみ有効であることを示唆している。
複雑な問題に対処する能力や、他の人によって書かれたソリューションを評価する能力は、決して効果的ではない。
- 参考スコア（独自算出の注目度）: 3.8984586307450093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the capabilities of Large Language Models (LLMs) to assist teachers and students in educational tasks is receiving increasing attention. In this paper, we assess ChatGPT's capacities to solve and grade real programming exams, from an accredited BSc degree in Computer Science, written in Spanish. Our findings suggest that this AI model is only effective for solving simple coding tasks. Its proficiency in tackling complex problems or evaluating solutions authored by others are far from effective. As part of this research, we also release a new corpus of programming tasks and the corresponding prompts for solving the problems or grading the solutions. This resource can be further exploited by other research teams.
- Abstract（参考訳）: 大規模言語モデル(LLM)の教育課題における教師や学生の支援能力の評価が注目されている。
本稿では,ChatGPTの実際のプログラミング試験の解法と評価能力について,スペイン語で書かれた認定BSc学位から評価する。
我々の研究結果は、このAIモデルは単純なコーディングタスクを解くのにのみ有効であることを示唆している。
複雑な問題に対処する能力や、他の人によって書かれたソリューションを評価する能力は、決して効果的ではない。
この研究の一環として、我々は新しいプログラミングタスクのコーパスと、問題の解決や解のグレードのための対応するプロンプトもリリースする。
このリソースは、他の研究チームによってさらに活用することができる。
関連論文リスト
- SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Learning Task Decomposition to Assist Humans in Competitive Programming [90.4846613669734]
タスク分解学習のための新しい目的,いわゆる値(AssistV)を導入する。
我々は、さまざまな分解されたソリューションに対して、人間の修理経験のデータセットを収集する。
人間の177時間以内の研究では、非専門家が33.3%の問題を解き、それらを3.3倍スピードアップさせ、無支援の専門家にマッチさせる権限を与える。
論文 参考訳（メタデータ） (2024-06-07T03:27:51Z) - Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。
我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
論文 参考訳（メタデータ） (2024-01-31T18:48:20Z) - Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in
the Age of Artificial Intelligence [0.0]
プログラムタスクを解くために,大規模言語モデルを使用することの有効性は未検討である。
本研究では,ChatGPTによるプログラミング入門コースの難易度に応じて,ChatGPTがコード解を生成する能力について検討した。
プログラム教育におけるAIを活用したツールの有用性に関する議論が進行中である。
論文 参考訳（メタデータ） (2023-12-02T11:09:17Z) - Exploring the Potential of Large Language Models to Generate Formative
Programming Feedback [0.5371337604556311]
計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。
これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。
その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。
しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
論文 参考訳（メタデータ） (2023-08-31T15:22:11Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course [4.779196219827508]
ChatGPTは大規模でディープラーニング駆動の自然言語処理モデルである。
評価にはChatGPTが生成する80種類のプログラミング演習のソリューションの分析が含まれる。
論文 参考訳（メタデータ） (2023-05-23T04:38:37Z) - Exploring the Use of ChatGPT as a Tool for Learning and Assessment in
Undergraduate Computer Science Curriculum: Opportunities and Challenges [0.3553493344868413]
本稿では,ChatGPTを大学コンピュータサイエンスカリキュラムの学習・評価ツールとして活用する上での課題と課題について論じる。
グループBの学生はChatGPTにアクセスでき、プログラミングの課題を解決するために使うことを奨励された。
結果より,ChatGPTを用いた学生は成績の点で有利であったが,提出されたコードには矛盾や不正確性があった。
論文 参考訳（メタデータ） (2023-04-16T21:04:52Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳（メタデータ） (2022-06-13T17:03:52Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。