論文の概要: Fine-Tuning Models for Automated Code Review Feedback

• arxiv url: http://arxiv.org/abs/2605.12610v1
• Date: Tue, 12 May 2026 18:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.601658
• Title: Fine-Tuning Models for Automated Code Review Feedback
• Title（参考訳）: コードレビュー自動フィードバックのための微調整モデル
• Authors: Smitha S Kumar, Michael A Lones, Manuel Maarek, Hind Zantout,
• Abstract要約: オープンなLLMコードラマによって生成されたフィードバックの質を適応・向上するために,パラメータ効率のよい微調整(PEFT)とプロンプトエンジニアリングが利用できるかを検討する。 その結果,PEFTはフィードバック品質が著しく向上し,工学的にも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 1.5866079116942815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have introduced new possibilities for programming education through personalized support, content creation, and automated feedback. While recent studies have demonstrated the potential for feedback generation, many techniques rely on proprietary models, raising concerns about cost, computational demands, and the ethical implications of sharing student code. Open LLMs provide an alternative approach, but they do not currently have the capabilities of proprietary models. To address this problem, we investigate whether parameter-efficient fine-tuning (PEFT) and prompt engineering, both of which distil knowledge from a dataset derived from a large, more capable model, can be used to adapt and enhance the quality of feedback generated by the open LLM Code Llama. Feedback quality on buggy Java code was assessed using a combination of student evaluation, manual annotation and the automated metrics BLEU, ROUGE, and BERTScore. Our findings indicate that PEFT leads to notable improvements in feedback quality and significantly outperforms prompt engineering, providing an avenue for developing freely deployable feedback tools that can be effectively used to guide student learning. Student evaluation indicates that learners value the PEFT model's feedback and see it as being equally effective as the proprietary ChatGPT model. Participants suggested that incorporating additional explanation for technical terms in the PEFT model's feedback could be more beneficial. This study demonstrates that fine-tuned models can effectively support critical thinking and guide the design of scalable pedagogical systems.
• Abstract（参考訳）: 大規模言語モデルは、パーソナライズされたサポート、コンテンツ作成、自動フィードバックを通じて、プログラミング教育の新しい可能性を導入した。 近年の研究はフィードバック生成の可能性を示しているが、多くのテクニックはプロプライエタリなモデルに依存しており、コスト、計算要求、学生コードを共有することの倫理的意味に関する懸念を提起している。 Open LLMは代替のアプローチを提供するが、現時点ではプロプライエタリなモデルの能力を持っていない。 この問題に対処するために,大規模かつ有能なモデルから得られたデータセットからの知識を駆使して,オープンLLM Code Llamaによって生成されたフィードバックの質を適応し,向上させることのできる,パラメータ効率のよい微調整(PEFT)とプロンプトエンジニアリングについて検討する。 バグの多いJavaコードのフィードバック品質を、学生評価、手動アノテーション、自動メトリクスBLEU、ROUGE、BERTScoreの組み合わせで評価した。 本研究は,PEFTがフィードバック品質を著しく向上させ,迅速なエンジニアリングを著しく向上させ,学生の学習指導に効果的に使用できる,自由に展開可能なフィードバックツールを開発するための道筋を提供することを示唆している。 学生評価は,PEFTモデルのフィードバックを学習者が評価し,独自のChatGPTモデルと同等に効果的であることを示す。 参加者はPEFTモデルのフィードバックに技術的用語の追加説明を組み込むことがより有益であると示唆した。 本研究は,微調整モデルが批判的思考を効果的に支援し,スケーラブルな教育システムの設計を導くことを実証する。

関連論文リスト

• SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling [9.113268651219187]
  SCRIBEは、フィードバックレポートに関する学生の質問に対する有効な応答を生成するために、マルチホップでツール強化された推論のためのフレームワークである。 GPT-Judgeによる評価と108人の学生によるユーザスタディは、8B-SCRIBEモデルがより大きなモデルに匹敵する品質または優れた品質を達成していることを示している。
  論文  参考訳（メタデータ） (2025-10-30T10:17:05Z)
• MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [82.91830877219822]
  我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。 MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。 閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
  論文  参考訳（メタデータ） (2025-02-26T08:43:47Z)
• Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant [0.0]
  この記事では、そのようなアプリケーションに関連する3つの側面について研究する。 GPT-3.5T と GPT-4T の2つのモデルの性能評価を行った。
  論文  参考訳（メタデータ） (2025-01-24T08:15:05Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge [4.981275578987307]
  大規模言語モデル(LLM)は、幅広いコンピューティングコンテキストにおけるフィードバックの自動生成に大きな可能性を示している。 しかし、学生の仕事をプロプライエタリなモデルに送ることのプライバシーと倫理的意味について懸念の声が上がっている。 このことは、教育におけるオープンソースのLLMの使用に大きな関心を呼んだが、そのようなオープンモデルが生み出すフィードバックの品質は、まだ検討されていない。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。