論文の概要: Enhancing Programming Error Messages in Real Time with Generative AI
- arxiv url: http://arxiv.org/abs/2402.08072v1
- Date: Mon, 12 Feb 2024 21:32:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 17:44:35.250992
- Title: Enhancing Programming Error Messages in Real Time with Generative AI
- Title（参考訳）: 生成型aiによるエラーメッセージのリアルタイムプログラミングの拡張
- Authors: Bailey Kimmel, Austin Geisert, Lily Yaro, Brendan Gipson, Taylor
Hotchkiss, Sidney Osae-Asante, Hunter Vaught, Grant Wininger, Chase Yamaguchi
- Abstract要約: 自動評価ツールであるAtheneに送信されたすべてのプログラムに対して、ChatGPTからのフィードバックを実装します。
以上の結果から,自動評価ツールに生成AIを追加することが必ずしも改善するとは限らないことが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI is changing the way that many disciplines are taught, including
computer science. Researchers have shown that generative AI tools are capable
of solving programming problems, writing extensive blocks of code, and
explaining complex code in simple terms. Particular promise has been shown in
using generative AI to enhance programming error messages. Both students and
instructors have complained for decades that these messages are often cryptic
and difficult to understand. Yet recent work has shown that students make fewer
repeated errors when enhanced via GPT-4. We extend this work by implementing
feedback from ChatGPT for all programs submitted to our automated assessment
tool, Athene, providing help for compiler, run-time, and logic errors. Our
results indicate that adding generative AI to an automated assessment tool does
not necessarily make it better and that design of the interface matters greatly
to the usability of the feedback that GPT-4 provided.
- Abstract（参考訳）: 生成AIは、コンピュータ科学を含む多くの分野の教え方を変えつつある。
ジェネレーティブなAIツールは、プログラミングの問題を解決し、幅広いコードのブロックを書き、複雑なコードを簡単な言葉で説明できることを示した。
特にpromiseは、生成aiを使ってエラーメッセージのプログラミングを強化している。
学生とインストラクターは、これらのメッセージがしばしば解読され、理解しにくいと何十年も不平を言ってきた。
しかし、近年の研究では、GPT-4による拡張では、繰り返しエラーが少ないことが示されている。
私たちは、自動評価ツールであるatheneに提出されたすべてのプログラムに対して、chatgptからのフィードバックを実装し、コンパイラ、ランタイム、ロジックエラーのヘルプを提供します。
以上の結果から,自動評価ツールに生成AIを追加することで必ずしも改善が得られず,インターフェースの設計はGPT-4が提供するフィードバックのユーザビリティに大きく寄与することがわかった。
関連論文リスト
- Development of an automatic modification system for generated programs using ChatGPT [0.12233362977312943]
OpenAIのChatGPTは自然言語処理タスクに優れ、ソースコードも生成できる。
我々はChatGPTで生成されたコードをテストし、不適切であれば自動的に修正し、適切なコードをユーザに提示するシステムを開発した。
論文 参考訳（メタデータ） (2024-07-10T08:54:23Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳（メタデータ） (2024-03-20T13:37:00Z) - Whodunit: Classifying Code as Human Authored or GPT-4 Generated -- A
case study on CodeChef problems [0.13124513975412253]
コードスタイメトリーと機械学習を用いて、GPT-4の生成したコードと人間によるコードとを区別する。
我々のデータセットは、CodeChefの人間認可ソリューションと、GPT-4で生成されたAI認可ソリューションから構成される。
本研究は, GPT-4生成コードと人為的なコードとを区別する上で, コードスタイメトリーは有望なアプローチであることを示す。
論文 参考訳（メタデータ） (2024-03-06T19:51:26Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳（メタデータ） (2023-08-23T02:36:19Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:51Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳（メタデータ） (2023-07-20T17:33:25Z) - A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges [23.467373994306524]
実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
論文 参考訳（メタデータ） (2023-03-30T03:21:53Z) - A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to
GPT-5 All You Need? [112.12974778019304]
生成AI(AIGC、つまりAI生成コンテンツ)は、テキスト、画像、その他を分析、作成する能力により、あらゆる場所で話題を呼んだ。
純粋な分析から創造へと移行するAIの時代において、ChatGPTは最新の言語モデルであるGPT-4とともに、多くのAIGCタスクからなるツールである。
本研究は,テキスト,画像,ビデオ,3Dコンテンツなど,出力タイプに基づいたAIGCタスクの技術的開発に焦点を当てている。
論文 参考訳（メタデータ） (2023-03-21T10:09:47Z) - How Generative AI models such as ChatGPT can be (Mis)Used in SPC
Practice, Education, and Research? An Exploratory Study [2.0841728192954663]
生成人工知能(AI)モデルは、統計的プロセス制御(SPC)の実践、学習、研究に革命をもたらす可能性がある。
これらのツールは開発の初期段階にあり、簡単に誤用されるか、誤解される可能性がある。
コードを提供し、基本的な概念を説明し、SPCの実践、学習、研究に関する知識を創造するChatGPTの能力を探求する。
論文 参考訳（メタデータ） (2023-02-17T15:48:37Z) - Smart tutor to provide feedback in programming courses [0.0]
学生のプログラミングに関する質問に答えるAIベースのインテリジェントチューターを提案する。
このツールは、全コースでURJCの大学生によってテストされている。
論文 参考訳（メタデータ） (2023-01-24T11:00:06Z) - The MineRL BASALT Competition on Learning from Human Feedback [58.17897225617566]
MineRL BASALTコンペティションは、この重要な種類の技術の研究を促進することを目的としている。
Minecraftでは、ハードコードされた報酬関数を書くのが難しいと期待する4つのタスクのスイートを設計しています。
これら4つのタスクのそれぞれについて、人間のデモのデータセットを提供するとともに、模擬学習ベースラインを提供する。
論文 参考訳（メタデータ） (2021-07-05T12:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。