論文の概要: Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments
- arxiv url: http://arxiv.org/abs/2404.01754v1
- Date: Tue, 2 Apr 2024 09:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 17:18:56.570131
- Title: Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments
- Title(参考訳): Peer-Aided repairer: 大規模言語モデルを活用して上級学生の課題を修復する
- Authors: Qianhui Zhao, Fang Liu, Li Zhang, Yang Liu, Zhen Yan, Zhenghao Chen, Yufei Zhou, Jing Jiang, Ge Li,
- Abstract要約: 我々は,大規模言語モデルを利用したPaRというフレームワークを開発した。
PaRは、ピアソリューション選択、マルチソースプロンプト生成、プログラム修復の3段階で動作する。
Defects4DSと他のよく検証されたTHEPデータセットの評価は、PaRが新しい最先端のパフォーマンスを達成することを明らかにしている。
- 参考スコア(独自算出の注目度): 26.236420215606238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated generation of feedback on programming assignments holds significant benefits for programming education, especially when it comes to advanced assignments. Automated Program Repair techniques, especially Large Language Model based approaches, have gained notable recognition for their potential to fix introductory assignments. However, the programs used for evaluation are relatively simple. It remains unclear how existing approaches perform in repairing programs from higher-level programming courses. To address these limitations, we curate a new advanced student assignment dataset named Defects4DS from a higher-level programming course. Subsequently, we identify the challenges related to fixing bugs in advanced assignments. Based on the analysis, we develop a framework called PaR that is powered by the LLM. PaR works in three phases: Peer Solution Selection, Multi-Source Prompt Generation, and Program Repair. Peer Solution Selection identifies the closely related peer programs based on lexical, semantic, and syntactic criteria. Then Multi-Source Prompt Generation adeptly combines multiple sources of information to create a comprehensive and informative prompt for the last Program Repair stage. The evaluation on Defects4DS and another well-investigated ITSP dataset reveals that PaR achieves a new state-of-the-art performance, demonstrating impressive improvements of 19.94% and 15.2% in repair rate compared to prior state-of-the-art LLM- and symbolic-based approaches, respectively
- Abstract(参考訳): プログラミング課題に対するフィードバックの自動生成は、特に高度な課題に関しては、プログラミング教育に大きな利益をもたらす。
プログラム修復の自動化技術、特に大規模言語モデルに基づくアプローチは、導入課題を修正する可能性について顕著に認識されている。
しかし、評価に用いられるプログラムは比較的単純である。
より高度なプログラミングコースからのプログラムの修復において、既存のアプローチがどのように機能するかは、まだ不明である。
これらの制約に対処するため、より高度なプログラミングコースからDefects4DSという名前の新しい高度な学生割当てデータセットをキュレートする。
その後、先進的な課題におけるバグ修正に関わる課題を特定した。
この分析に基づいて, LLM を利用した PaR というフレームワークを開発した。
PaRは、ピアソリューション選択、マルチソースプロンプト生成、プログラム修復の3段階で動作する。
ピアソリューション選択は、語彙、意味、統語的基準に基づいて、密接に関連するピアプログラムを特定する。
次に、マルチソース・プロンプト・ジェネレーションは、複数の情報ソースを包括的に組み合わせて、最後のプログラム修復段階の包括的で情報的なプロンプトを作成する。
Defects4DS と別のよく検証された ITSP データセットの評価は、PaR が新しい最先端のパフォーマンスを達成し、従来の最先端 LLM とシンボルベースのアプローチと比較して、それぞれ19.94% と 15.2% の大幅な改善が見られたことを示している。
関連論文リスト
- Benchmarking Educational Program Repair [4.981275578987307]
大きな言語モデル(LLM)は、学習リソースの生成、エラーメッセージの改善、コードに対するフィードバックの提供に使用することができる。
競合するアプローチの公平な比較を容易にするため、標準化とベンチマークが強く求められている。
本稿では,新しい教育プログラム修復ベンチマークを提案する。
論文 参考訳(メタデータ) (2024-05-08T18:23:59Z) - An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications [5.395614997568524]
本稿では,アロイの宣言的仕様を修復するためのLarge Language Models (LLMs) の能力について,体系的に検討する。
本稿では, 補修エージェントとプロンプトエージェントを組み合わせた, 二重エージェントLLMフレームワークを統合した新しい補修パイプラインを提案する。
本研究は, LLM, 特に GPT-4 変種が, 実行時およびトークン使用率の限界が増大しているにもかかわらず, 修復効率において既存の技術よりも優れていたことを明らかにした。
論文 参考訳(メタデータ) (2024-04-17T03:46:38Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - Fully Autonomous Programming with Large Language Models [0.9558392439655015]
LLM(Large Language Models)を用いたプログラム合成への最近のアプローチは、"ニアミスシンドローム"を示す。
我々は、LLMとプログラム合成ベンチマーク2としてOpenAI Codexを使用し、問題記述と評価のためのテストのデータベースとして使用します。
結果として生じるフレームワークは、修復フェーズなしでのCodexの従来の使用法と、従来の遺伝的プログラミングアプローチの両方を上回ります。
論文 参考訳(メタデータ) (2023-04-20T16:12:05Z) - Hierarchical Programmatic Reinforcement Learning via Learning to Compose
Programs [58.94569213396991]
プログラムポリシーを作成するための階層型プログラム強化学習フレームワークを提案する。
提案するフレームワークは,プログラム作成の学習を通じて,アウト・オブ・ディストリビュータの複雑な動作を記述するプログラムポリシーを作成することができる。
Karel ドメインの実験結果から,提案するフレームワークがベースラインより優れていることが示された。
論文 参考訳(メタデータ) (2023-01-30T14:50:46Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T11:25:21Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z) - InvAASTCluster: On Applying Invariant-Based Program Clustering to
Introductory Programming Assignments [0.0]
InvAASTClusterは、プログラムクラスタリングの新しいアプローチである。
複数のプログラム実行で観察される動的に生成されたプログラム不変量を利用して、意味論的に等価なIPAをクラスタ化する。
以上の結果から,InvAASTClusterはクラスタリングベースのプログラム修復ツールで使用されている場合,現在の最先端技術に進歩することが示された。
論文 参考訳(メタデータ) (2022-06-28T17:42:28Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。