論文の概要: Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments

• arxiv url: http://arxiv.org/abs/2404.01754v1
• Date: Tue, 2 Apr 2024 09:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 17:18:56.570131
• Title: Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments
• Title（参考訳）: Peer-Aided repairer: 大規模言語モデルを活用して上級学生の課題を修復する
• Authors: Qianhui Zhao, Fang Liu, Li Zhang, Yang Liu, Zhen Yan, Zhenghao Chen, Yufei Zhou, Jing Jiang, Ge Li,
• Abstract要約: 我々は,大規模言語モデルを利用したPaRというフレームワークを開発した。 PaRは、ピアソリューション選択、マルチソースプロンプト生成、プログラム修復の3段階で動作する。 Defects4DSと他のよく検証されたTHEPデータセットの評価は、PaRが新しい最先端のパフォーマンスを達成することを明らかにしている。
• 参考スコア（独自算出の注目度）: 26.236420215606238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated generation of feedback on programming assignments holds significant benefits for programming education, especially when it comes to advanced assignments. Automated Program Repair techniques, especially Large Language Model based approaches, have gained notable recognition for their potential to fix introductory assignments. However, the programs used for evaluation are relatively simple. It remains unclear how existing approaches perform in repairing programs from higher-level programming courses. To address these limitations, we curate a new advanced student assignment dataset named Defects4DS from a higher-level programming course. Subsequently, we identify the challenges related to fixing bugs in advanced assignments. Based on the analysis, we develop a framework called PaR that is powered by the LLM. PaR works in three phases: Peer Solution Selection, Multi-Source Prompt Generation, and Program Repair. Peer Solution Selection identifies the closely related peer programs based on lexical, semantic, and syntactic criteria. Then Multi-Source Prompt Generation adeptly combines multiple sources of information to create a comprehensive and informative prompt for the last Program Repair stage. The evaluation on Defects4DS and another well-investigated ITSP dataset reveals that PaR achieves a new state-of-the-art performance, demonstrating impressive improvements of 19.94% and 15.2% in repair rate compared to prior state-of-the-art LLM- and symbolic-based approaches, respectively
• Abstract（参考訳）: プログラミング課題に対するフィードバックの自動生成は、特に高度な課題に関しては、プログラミング教育に大きな利益をもたらす。 プログラム修復の自動化技術、特に大規模言語モデルに基づくアプローチは、導入課題を修正する可能性について顕著に認識されている。 しかし、評価に用いられるプログラムは比較的単純である。 より高度なプログラミングコースからのプログラムの修復において、既存のアプローチがどのように機能するかは、まだ不明である。 これらの制約に対処するため、より高度なプログラミングコースからDefects4DSという名前の新しい高度な学生割当てデータセットをキュレートする。 その後、先進的な課題におけるバグ修正に関わる課題を特定した。 この分析に基づいて, LLM を利用した PaR というフレームワークを開発した。 PaRは、ピアソリューション選択、マルチソースプロンプト生成、プログラム修復の3段階で動作する。 ピアソリューション選択は、語彙、意味、統語的基準に基づいて、密接に関連するピアプログラムを特定する。 次に、マルチソース・プロンプト・ジェネレーションは、複数の情報ソースを包括的に組み合わせて、最後のプログラム修復段階の包括的で情報的なプロンプトを作成する。 Defects4DS と別のよく検証された ITSP データセットの評価は、PaR が新しい最先端のパフォーマンスを達成し、従来の最先端 LLM とシンボルベースのアプローチと比較して、それぞれ19.94% と 15.2% の大幅な改善が見られたことを示している。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments [21.848112758958543]
  本稿では,FastFixerを提案する。 まず,必要なパッチと関連するコンテキストを生成する方法を学ぶことへのLLMの関心を高めることを目的とした,修復指向のファインチューニング戦略を提案する。 修復効率を考慮すると、FastFixerは自動回帰復号アルゴリズムと比較して16.67倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-11T10:17:02Z)
• Multi-Task Program Error Repair and Explanatory Diagnosis [28.711745671275477]
  マルチタスクプログラムエラー修復・説明診断(mPRED)のための新しい機械学習手法を提案する。 ソースコードのエンコードには事前訓練された言語モデルが使用され、ダウンストリームモデルはエラーを特定して修復するために特別に設計されている。 プログラム構造を可視化・解析するために,プログラム構造の可視化にグラフニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2024-10-09T05:09:24Z)
• RePair: Automated Program Repair with Process-based Feedback [28.017321930042694]
  本稿では,プロセスの監督とフィードバックによって,小規模言語モデル(LM)が優れたパフォーマンスを実現する方法を示す。 我々は、批評家として機能する報酬モデルを開発し、微調整されたLMの行動に対するフィードバックを提供する。 その結果, プロセスベースでは, より大きな結果に基づく生成方法よりも, クローズドソースの大規模LMの性能にほぼ匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2024-08-21T02:53:23Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• Benchmarking Educational Program Repair [4.981275578987307]
  大きな言語モデル(LLM)は、学習リソースの生成、エラーメッセージの改善、コードに対するフィードバックの提供に使用することができる。 競合するアプローチの公平な比較を容易にするため、標準化とベンチマークが強く求められている。 本稿では,新しい教育プログラム修復ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T18:23:59Z)
• Hierarchical Programmatic Reinforcement Learning via Learning to Compose Programs [58.94569213396991]
  プログラムポリシーを作成するための階層型プログラム強化学習フレームワークを提案する。 提案するフレームワークは,プログラム作成の学習を通じて,アウト・オブ・ディストリビュータの複雑な動作を記述するプログラムポリシーを作成することができる。 Karel ドメインの実験結果から,提案するフレームワークがベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-30T14:50:46Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
  本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。 次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。 オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-05-20T07:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。