論文の概要: Evaluating Code Generation of LLMs in Advanced Computer Science Problems

• arxiv url: http://arxiv.org/abs/2504.14964v1
• Date: Mon, 21 Apr 2025 08:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:50:43.344051
• Title: Evaluating Code Generation of LLMs in Advanced Computer Science Problems
• Title（参考訳）: 先進計算機科学問題におけるLLMのコード生成評価
• Authors: Emir Catir, Robin Claesson, Rodothea Myrsini Tsoupidi,
• Abstract要約: 大規模言語モデル(LLM)は、プログラミングの学生の間で人気がある。 我々は、先進的なコンピュータサイエンス科のプログラミング課題を解決するための4つのLLMツールの能力を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), such as GitHub Copilot and ChatGPT have become popular among programming students. Students use LLMs to assist them in programming courses, including generating source code. Previous work has evaluated the ability of LLMs in solving introductory-course programming assignments. The results have shown that LLMs are highly effective in generating code for introductory Computer Science (CS) courses. However, there is a gap in research on evaluating LLMs' ability to generate code that solves advanced programming assignments. In this work, we evaluate the ability of four LLM tools to solve programming assignments from advanced CS courses in three popular programming languages, Java, Python, and C. We manually select 12 problems, three problems from introductory courses as the baseline and nine programming assignments from second- and third-year CS courses. To evaluate the LLM-generated code, we generate a test suite of 1000 test cases per problem and analyze the program output. Our evaluation shows that although LLMs are highly effective in generating source code for introductory programming courses, solving advanced programming assignments is more challenging. Nonetheless, in many cases, LLMs identify the base problem and provide partial solutions that may be useful to CS students. Furthermore, our results may provide useful guidance for teachers of advanced programming courses on how to design programming assignments.
• Abstract（参考訳）: GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、プログラミングの学生の間で人気がある。 学生はLLMを使用して、ソースコードの生成を含むプログラミングコースでそれを支援する。 従来の研究は、入門講座プログラミング課題の解決におけるLLMの能力を評価してきた。 その結果,LSMはコンピュータ科学入門コースのコード生成に極めて有効であることが示唆された。 しかし、先進的なプログラミング課題を解決するコードを生成するLLMの能力を評価する研究にはギャップがある。 本研究では,3つの人気のあるプログラミング言語,Java,Python,Cの先進的なCSコースのプログラミング課題を解決するための4つのLCMツールの能力を評価する。 LLM生成したコードを評価するために,問題毎に1000のテストケースをテストスイートとして生成し,プログラムの出力を分析する。 評価の結果,LLMは導入プログラミングコースのソースコード生成に極めて有効であるが,高度なプログラミング課題の解決はより困難であることがわかった。 しかし、多くの場合、LCMは基礎的な問題を特定し、CS学生に有用な部分的な解決策を提供する。 さらに,本研究の結果は,先進的なプログラミングコースの教師に対して,プログラミング課題の設計方法に関する有用なガイダンスを提供する可能性がある。

関連論文リスト

• SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.02175403852253]
  LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。 そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。 我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-14T21:52:21Z)
• Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
  我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。 この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T20:37:00Z)
• CS1-LLM: Integrating LLMs into CS1 Instruction [0.6282171844772422]
  本経験報告では,大規模言語モデルを完全に取り入れた大規模大学におけるCS1コースについて述べる。 LLMを組み込むため、コースは意図的に変更され、シンタックスやコードの記述がスクラッチから強調されるようになった。 学生は3つの異なる領域に3つの大きなオープンエンドプロジェクトを与えられ、彼らの創造性を誇示した。
  論文  参考訳（メタデータ） (2024-04-17T14:44:28Z)
• Analyzing LLM Usage in an Advanced Computing Class in India [4.580708389528142]
  本研究では,大規模言語モデル(LLM)を,大学院生や大学院生が高度なコンピューティングクラスにおけるプログラミング課題に活用することを検討した。 インド大学の分散システムクラスから411名の学生を対象に,総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-04-06T12:06:56Z)
• CSEPrompts: A Benchmark of Introductory Computer Science Prompts [11.665831944836118]
  AI、機械学習、NLPの最近の進歩は、新しい世代のLarge Language Models(LLM)の開発に繋がった。 商業的応用により、この技術は一般大衆に利用できるようになったため、学術的および専門的な目的のために高品質なテキストを作成するためにLLMを使用することが可能である。 学校や大学は、学生によるAI生成コンテンツの利用の増加に気づいており、この新しい技術とその潜在的な誤用の影響を調査している。
  論文  参考訳（メタデータ） (2024-04-03T07:55:57Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Executing Natural Language-Described Algorithms with Large Language Models: An Investigation [48.461999568129166]
  自然言語で概説したアルゴリズムを理解・実行するための,今日の大規模言語モデルの能力について検討する。 我々は、30個のアルゴリズムを選択し、300個のランダムサンプリングされたインスタンスを生成し、人気のあるLCMがこれらのアルゴリズムを理解し実行できるかを評価した。 この結果から,LLM,特にGPT-4は,重数値計算を伴わない限り,自然言語で記述されたプログラムを効果的に実行できることが判明した。
  論文  参考訳（メタデータ） (2024-02-23T05:31:36Z)
• "Which LLM should I use?": Evaluating LLMs for tasks performed by Undergraduate Computer Science Students [2.6043678412433713]
  本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。 私たちの研究は、Google Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilot Chatなど、公開されているLLMのいくつかを体系的に評価しています。
  論文  参考訳（メタデータ） (2024-01-22T15:11:36Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• CodeApex: A Bilingual Programming Evaluation Benchmark for Large Language Models [43.655927559990616]
  我々は,LLMのプログラミング理解,コード生成,コード修正能力に着目したベンチマークデータセットであるCodeApexを提案する。 汎用モデルと特化モデルの両方を含む,広く使用されているLLMを12種類評価した。 GPT-4は最高のプログラミング能力を示し、それぞれ69%、54%、66%の精度を達成している。
  論文  参考訳（メタデータ） (2023-09-05T04:12:01Z)
• Learning to Plan with Natural Language [111.76828049344839]
  大規模言語モデル(LLM)は、様々な基本自然言語タスクにおいて顕著な性能を示している。 複雑なタスクを完了するためには、ステップごとに特定のソリューションを生成するためにLCMをガイドするタスクの計画が必要です。 本研究では,(1)第1学習課題計画フェーズにおいて,LCMが学習エラーフィードバックから導出するように促した新たなステップバイステップのソリューションと行動指示を用いてタスク計画を反復的に更新する,という2つの段階を含む学習計画手法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:09:12Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。