論文の概要: Generating High-Precision Feedback for Programming Syntax Errors using Large Language Models

• arxiv url: http://arxiv.org/abs/2302.04662v2
• Date: Fri, 28 Apr 2023 11:33:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 17:01:32.781494
• Title: Generating High-Precision Feedback for Programming Syntax Errors using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたプログラム構文誤りに対する高精度フィードバックの生成
• Authors: Tung Phung, Jos\'e Cambronero, Sumit Gulwani, Tobias Kohn, Rupak Majumdar, Adish Singla, Gustavo Soares
• Abstract要約: 大規模言語モデル(LLM)は,学生のフィードバックを自動的に生成することによって,プログラミング教育の強化に大きく貢献する。 Codexを利用した高精度フィードバック生成技術であるPyFiXVを紹介する。
• 参考スコア（独自算出の注目度）: 23.25258654890813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs), such as Codex, hold great promise in enhancing programming education by automatically generating feedback for students. We investigate using LLMs to generate feedback for fixing syntax errors in Python programs, a key scenario in introductory programming. More concretely, given a student's buggy program, our goal is to generate feedback comprising a fixed program along with a natural language explanation describing the errors/fixes, inspired by how a human tutor would give feedback. While using LLMs is promising, the critical challenge is to ensure high precision in the generated feedback, which is imperative before deploying such technology in classrooms. The main research question we study is: Can we develop LLMs-based feedback generation techniques with a tunable precision parameter, giving educators quality control over the feedback that students receive? To this end, we introduce PyFiXV, our technique to generate high-precision feedback powered by Codex. The key idea behind PyFiXV is to use a novel run-time validation mechanism to decide whether the generated feedback is suitable for sharing with the student; notably, this validation mechanism also provides a precision knob to educators. We perform an extensive evaluation using two real-world datasets of Python programs with syntax errors and show the efficacy of PyFiXV in generating high-precision feedback.
• Abstract（参考訳）: Codexのような大規模言語モデル(LLM)は、学生のフィードバックを自動的に生成することで、プログラミング教育の強化に大いに貢献する。 導入プログラミングにおける重要なシナリオであるPythonプログラムの構文エラー修正のためのフィードバックを生成するために,LLMを用いて検討する。 より具体的には、学生のバギープログラムを考えると、私たちのゴールは、人間の教師がフィードバックを与える方法にインスパイアされた、エラー/修正を説明する自然言語とともに、固定プログラムを含むフィードバックを生成することです。 LLMを使うことは有望であるが、重要な課題は、このような技術を教室に展開する前に必須となる、生成したフィードバックの高精度を確保することである。 私たちが研究している主な研究課題は、学習者によるフィードバックの質管理を実現するために、調整可能な精度パラメータを用いたLLMベースのフィードバック生成技術を開発することができるか? そこで我々は,Codexを利用した高精度フィードバック生成技術であるPyFiXVを紹介する。 PyFiXVの背景にある重要な考え方は、新しい実行時の検証メカニズムを使用して、生成されたフィードバックが学生と共有するのに適しているかを判断することである。 構文エラーのあるPythonプログラムの2つの実世界のデータセットを用いて広範囲な評価を行い,PyFiXVの有効性を示す。

関連論文リスト

• Can Large Language Models Replicate ITS Feedback on Open-Ended Math Questions? [3.7399138244928145]
  本研究では,大規模言語モデルのオープンエンド数学質問に対するフィードバック生成能力について検討する。 オープンソースのモデルとプロプライエタリなモデルの両方が、トレーニング中に見たフィードバックを複製する可能性を示していますが、以前は見つからなかった学生のエラーに対して、十分に一般化していません。
  論文  参考訳（メタデータ） (2024-05-10T11:53:53Z)
• Generating Feedback-Ladders for Logical Errors in Programming using Large Language Models [2.1485350418225244]
  大規模言語モデル(LLM)に基づく手法は,プログラムの代入に対するフィードバック生成において大きな可能性を秘めている。 本稿では、LLMを用いて「フィードバック・ラダー」、すなわち、同じ問題とサブミッションのペアに対する複数のレベルのフィードバックを生成する。 本研究では, 学生, 教育者, 研究者によるユーザスタディにより, 生成したフィードバックラダーの品質を評価する。
  論文  参考訳（メタデータ） (2024-05-01T03:52:39Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• How Helpful do Novice Programmers Find the Feedback of an Automated Repair Tool? [1.2990666399718034]
  自動修復ツールであるCLARAを使って初心者にフィードバックを提供する経験について述べる。 まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。 初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-02T07:45:56Z)
• Exploring the Potential of Large Language Models to Generate Formative Programming Feedback [0.5371337604556311]
  計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。 これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
  論文  参考訳（メタデータ） (2023-08-31T15:22:11Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
  自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
  論文  参考訳（メタデータ） (2023-03-28T16:15:31Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。