論文の概要: Automatic Generation of Programming Exercises and Code Explanations with Large Language Models

• arxiv url: http://arxiv.org/abs/2206.11861v1
• Date: Fri, 3 Jun 2022 11:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 12:14:12.442986
• Title: Automatic Generation of Programming Exercises and Code Explanations with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたプログラミング演習の自動生成とコード説明
• Authors: Sami Sarsa, Paul Denny, Arto Hellas, Juho Leinonen
• Abstract要約: OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。 プログラミング演習の2つの段階において,Codexの自然言語生成能力について検討する。 自動生成されるコンテンツの大部分は、新しいものでも、理にかなったものでも、多くの場合、そのまま使えるものなのです。
• 参考スコア（独自算出の注目度）: 4.947560475228859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: OpenAI Codex is a recent large language model from the GPT-3 family for translating code into natural language and vice versa. Recent explorations of Codex have highlighted that given typical introductory programming exercise problem statements as input, the model can generate code solutions well above the level of an average student. In this article, we explore the natural language generation capabilities of Codex in two different phases of the life of a programming exercise; automatically creating programming exercises (including sample solutions and test cases) and explanations of written code, assessing these qualitatively and quantitatively. We find the majority of this automatically generated content both novel and sensible, and in many cases ready to use as is. We further find that influencing the content of the created programming exercises is remarkably easy with minor modifications to the input. Our analysis suggests that there is significant value in massive generative machine learning models as a tool for instructors, although some oversight might be needed to ensure the quality of the generated content before it is delivered to students. We further discuss the implications of OpenAI Codex and similar tools for introductory programming education and highlight future research streams that have the potential to improve the quality of the educational experience for both teachers and students alike.
• Abstract（参考訳）: OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。 Codexの最近の調査では、典型的なプログラミング演習問題文を入力として考慮すれば、モデルは平均的な学生よりもはるかに高いレベルのコードソリューションを生成することができる。 本稿では,プログラミング演習の2つの異なる段階において,Codexの自然言語生成能力について検討し,プログラム演習(サンプルソリューションやテストケースを含む)と記述コードの説明を自動的に生成し,質的かつ定量的に評価する。 この自動生成コンテンツの大部分は、ノベルとセンシブルの両方で、多くの場合、そのまま使う準備ができています。 さらに,生成したプログラミング演習の内容に影響を及ぼすことは,入力に小さな修正を加えることで非常に容易であることが分かりました。 分析の結果,インストラクターのツールとして大量生成型機械学習モデルに有意な価値があることが示唆された。 我々はさらに,openai codex とその類似ツールが導入プログラミング教育に与える影響を議論し,教師と学生の両方にとっての教育体験の質を向上させる可能性を持つ今後の研究ストリームを強調する。

関連論文リスト

• Large Language Models in Computer Science Education: A Systematic Literature Review [7.240148550817106]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスク(NLP)において、ますます良くなっている。 最近、これらのモデルは、自然言語(NL)とプログラミング言語(PL)のギャップを埋めて、その能力をコーディングタスクに拡張した。
  論文  参考訳（メタデータ） (2024-10-21T17:49:50Z)
• Curriculum Learning for Small Code Language Models [0.09999629695552192]
  本稿では,プログラム言語モデルの性能向上におけるカリキュラム学習の可能性について考察する。 十分に設計されたカリキュラム学習手法は,デコーダのみの小さな言語モデルの精度を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-07-14T13:32:24Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• A Comparative Study of Code Generation using ChatGPT 3.5 across 10 Programming Languages [0.0]
  LLM(Large Language Models)は、高度な人工知能(AI)システムである。 本研究では,2022年11月にOpenAIがリリースしたLLMであるChatGPT 3.5の符号化能力について検討する。 コードスニペットを作成する際のモデルのスキルは、10の異なるプログラミング言語と4つの異なるソフトウェアドメインで評価される。
  論文  参考訳（メタデータ） (2023-08-08T15:02:32Z)
• Computing Education in the Era of Generative AI [6.058132379003054]
  人工知能の最近の進歩により、自然言語の問題記述からソースコードを生成するコード生成モデルが生まれている。 我々は、そのようなモデルがコンピュータ教育者にもたらす課題と機会について論じる。 このようなモデルが教育的実践に与える影響を、執筆当時の最新の進歩の文脈で検討する。
  論文  参考訳（メタデータ） (2023-06-05T05:43:35Z)
• Enhancing Automated Program Repair through Fine-tuning and Prompt Engineering [2.3826139428423576]
  シーケンス・ツー・シーケンスのモデルは、十分に大規模なデータセットでトレーニングされた時に、誤ったプログラムを正しいプログラムに変換するために使われてきた。 いくつかの最近の研究は、コードレビューがプログラムの修復をさらに改善できるという強い実証的な証拠を示した。 PLとNLの本質的な知識が,プログラムの自動修復の改善に有効かどうかを検討する。
  論文  参考訳（メタデータ） (2023-04-16T17:29:51Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Incorporating External Knowledge through Pre-training for Natural Language to Code Generation [97.97049697457425]
  オープンドメインコード生成は、自然言語(NL)の意図から汎用プログラミング言語でコードを生成することを目的としている。 オンラインプログラミングQAフォーラムStackOverflowとプログラミング言語APIドキュメントからNL-codeペアを自動的にマイニングする。 評価の結果,2つのソースとデータ拡張と検索ベースデータ再サンプリングを組み合わせることで,コード生成テストベッドCoNaLa上でのBLEUスコアが最大2.2%向上することがわかった。
  論文  参考訳（メタデータ） (2020-04-20T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。