論文の概要: Revisiting Feedback-Driven LLM Code Repair: A Replication and Exploratory Java Extension
- arxiv url: http://arxiv.org/abs/2609.00362v1
- Date: Mon, 31 Aug 2026 20:55:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.079837
- Title: Revisiting Feedback-Driven LLM Code Repair: A Replication and Exploratory Java Extension
- Title（参考訳）: フィードバック駆動のLLMコード修正を再考する - レプリケーションと探索的なJava拡張
- Abstract要約: 本研究は, GPT-4o と Claude 3.5 Sonnet を用いた 394 の補修作業に関する当初の研究を部分的に再現した。
我々は、50のJavaタスクから100の誤修正インスタンスを構築し、フィードバックの有効性を評価する。
以上の結果から,Pythonのこれまでの結論は,ベンチマークの構成やフィードバック表現,ツーリングのエコシステムに敏感である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 5.124343690857496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since the advent of Large Language Models (LLMs), practitioners have increasingly leveraged them to support their software engineering tasks, including automated code repair, showing promising results. Yet, concerns regarding reproducibility and generalizability remain largely unexplored. To further evaluate these concerns and associated impacts, we partially reproduce and conduct an exploratory Java extension of the FeedbackEval benchmark [1], which evaluates how LLMs leverage different feedback types for Python code repair. First, we partially replicate the original study on 394 repair tasks using GPT-4o and Claude 3.5 Sonnet, reproducing and observing the main qualitative trends reported in the original work. Second, we conduct an exploratory Java extension by constructing 100 erroneous repair instances from 50 Java tasks and evaluating feedback effectiveness. Our results show that previous conclusions from Python may be sensitive to benchmark construction, feedback representation, and tooling ecosystem, motivating more controlled multilingual benchmarks. Specifically, while test feedback remains the strongest feedback type in our Python replication, the same ranking is not observed in our Java extension, as simple and JUnit-based test feedback do not differ significantly. We hypothesize that differences in feedback informativeness and tooling ecosystems, such as the verbosity of test frameworks, may partly explain such a difference. Finally, lighter prompts reduce cost without significant differences in repair effectiveness. Overall, our findings confirm key trends under a partially controlled replication and highlight the need for more rigorous multilingual evaluation and careful feedback design in LLMbased repair systems.
- Abstract（参考訳）: LLM(Large Language Models)の登場以来、実践者はそれをますます活用して、自動化されたコード修復を含むソフトウェアエンジニアリングタスクをサポートし、有望な結果を示している。
しかし、再現性と一般化性に関する懸念はほとんど未解決のままである。
これらの懸念と関連する影響を更に評価するために、我々はFeedbackEvalベンチマーク[1]の探索的なJava拡張を部分的に再現し、実行しました。
まず, GPT-4o と Claude 3.5 Sonnet を用いた 394 の補修作業に関する元の研究を部分的に再現し, 本研究で報告された主要な定性的傾向の再現と観察を行った。
次に、50のJavaタスクから100の誤修正インスタンスを構築し、フィードバックの有効性を評価することにより、探索的なJava拡張を行う。
以上の結果から,Pythonのこれまでの結論は,ベンチマークの構成やフィードバック表現,ツーリングのエコシステムに敏感であり,より制御された多言語ベンチマークを動機付けている可能性が示唆された。
特に、テストのフィードバックはPythonレプリケーションで最強のフィードバックタイプのままですが、シンプルでJUnitベースのテストのフィードバックは大きな違いがないため、Java拡張では同じランキングが見られません。
テストフレームワークの冗長性など,フィードバックの情報性やツーリングのエコシステムの違いが,その違いを部分的に説明できるのではないか,という仮説を立てる。
最後に、ライターは修理効率に大きな違いを伴わずにコスト削減を促す。
概して, 部分的に制御された複製の下での重要な傾向を確認し, より厳密な多言語評価と, LLMベースの修復システムにおける慎重なフィードバック設計の必要性を強調した。
関連論文リスト
- Chain-of-Experience for Continual LLM Improvement [57.11645184182825]
我々は,大規模言語モデルがテスト時に反復的な経験からどのように学習するかを研究する。
多様なフィードバック機構でCoE(Chain-of-Experience)をインスタンス化する。
本研究は,反復体験の活用がフィードバックのないベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-08-18T17:22:54Z) - The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳（メタデータ） (2026-03-11T19:51:33Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Turning the Tide: Repository-based Code Reflection [52.13709676656648]
マルチファイルリポジトリコンテキストにおけるコード理解と生成を評価するベンチマークであるLiveRepoReflectionを紹介する。
多様性、正確性、難易度を確保するため、6ドル(約6,800円)のプログラミング言語で厳格にテストケースをフィルタリングしました。
RepoReflection-Instructは、さまざまなソースから派生した大規模で品質の高い命令チューニングデータセットである。
論文 参考訳（メタデータ） (2025-07-14T02:36:27Z) - Empirical Evaluation of Generalizable Automated Program Repair with Large Language Models [4.757323827658957]
自動プログラム修正は、開発者がソフトウェアをメンテナンスするのを助けるバグ修正を提案する。
近年の研究では、LLMを修復に利用できることが示されている。
オープンモデル (Llama 3.3, Qwen 2.5 Coder, DeepSeek R1 (dist.) など) やクローズドモデル (o3-mini, GPT-4o, Claude 3.7 Sonnet, Gemini 2.0 Flash など) を含む,最新の13モデルの多種多様なセットを評価した。
論文 参考訳（メタデータ） (2025-06-03T18:15:14Z) - FeedbackEval: A Benchmark for Evaluating Large Language Models in Feedback-Driven Code Repair Tasks [28.849481030601666]
本稿では,大規模言語モデルのフィードバック理解と性能を評価するベンチマークであるFeedbackEvalを紹介する。
我々は,GPT-4o,Claude-3.5,Gemini-1.5,GLM-4,Qwen2.5の5つの最先端LCMについて総合的研究を行った。
その結果, 構造的フィードバック, 特にテストフィードバックの形では, 修復成功率が最も高く, 非構造的フィードバックは極めて少ないことがわかった。
論文 参考訳（メタデータ） (2025-04-09T14:43:08Z) - Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-01-28T15:41:54Z) - Re-ReST: Reflection-Reinforced Self-Training for Language Agents [101.22559705696885]
言語エージェントにおける自己学習は、エージェント自体から監督を生成することができる。
リフレクション強化自己学習(Reflection-Reinforced Self-Training, Re-ReST)は, テキストレフレクタを用いて低品質な試料を精製する。
論文 参考訳（メタデータ） (2024-06-03T16:21:38Z) - A Case Study of LLM for Automated Vulnerability Repair: Assessing Impact of Reasoning and Patch Validation Feedback [7.742213291781287]
提案するVRpilotは,推論とパッチ検証フィードバックに基づく脆弱性修復手法である。
以上の結果から,VRpilotはCとJavaのベースライン技術よりも平均14%と7.6%の正確なパッチを生成することがわかった。
論文 参考訳（メタデータ） (2024-05-24T16:29:48Z) - ContrastRepair: Enhancing Conversation-Based Automated Program Repair
via Contrastive Test Case Pairs [23.419180504723546]
ContrastRepairは、対照的なテストペアを提供することで、会話駆動型APRを強化する、新しいAPRアプローチである。
Defects4j、QuixBugs、HumanEval-Javaなど、複数のベンチマークデータセット上でContrastRepairを評価する。
論文 参考訳（メタデータ） (2024-03-04T12:15:28Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳（メタデータ） (2023-10-18T16:27:49Z) - Towards Reliable and Fluent Large Language Models: Incorporating
Feedback Learning Loops in QA Systems [10.58737969057445]
我々は,大規模な言語モデルによって生成された応答の引用,正しさ,および流布性を評価することができる評論家モデルを訓練するためのデータセットを構築した。
本稿では,批判モデルを利用して生成したテキストの異質な側面をリアルタイムにフィードバックする自動フィードバック機構を提案する。
提案手法の有効性を実験的に検証し,4%の精度向上とMAUVE測定値の約8%の精度向上を図った。
論文 参考訳（メタデータ） (2023-09-08T09:39:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。