論文の概要: Unlocking LLM Code Correction with Iterative Feedback Loops

• arxiv url: http://arxiv.org/abs/2606.17514v1
• Date: Tue, 16 Jun 2026 04:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.272024
• Title: Unlocking LLM Code Correction with Iterative Feedback Loops
• Title（参考訳）: 反復フィードバックループを用いたLLM符号のアンロック
• Authors: Le Zhang, Suresh Kothari,
• Abstract要約: 本研究では、コード障害の評価、修正パターンの分析、推論と非推論モデルの有効性の比較を行うメトリクスを紹介する。 その結果、推論モデルは反復よりも一貫して改善され、フィードバックを活用する際に非推論モデルよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 5.504955093712013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models have shown remarkable capabilities in code generation. However, most existing evaluations focus only on single-attempt accuracy and overlook the iterative refinement process that is central to real-world programming. This study presents a systematic investigation of LLMs' ability to rectify their own code through execution feedback. Using real-world programming problems across four models and two major programming languages, this study evaluates performance using iterative refinement framework where LLMs receive compiler error messages and testcase feedback after each attempt. This study introduces metrics to evaluate code failures, analyze rectification patterns, and compare the effectiveness of reasoning and non-reasoning models, offering actionable insights into both the understanding and practical application of feedback loops in LLM-driven code generation systems. Results show that reasoning models consistently improve over iterations, substantially outperforming non-reasoning models in leveraging feedback, while syntactic and runtime errors are far more tractable than logical or algorithmic failures.
• Abstract（参考訳）: 大規模言語モデルは、コード生成において顕著な能力を示している。 しかし、既存のほとんどの評価は、単一目的の精度にのみ焦点をあて、実世界のプログラミングの中心となる反復的洗練プロセスを見落としている。 本研究では, LLMのコード修正能力について, 実行フィードバックを用いて体系的に検討する。 本研究は,4つのモデルと2つの主要プログラミング言語の実際のプログラミング問題を用いて,LLMがコンパイラエラーメッセージとテストケースフィードバックを各試行後に受信する反復改良フレームワークを用いて性能評価を行う。 本研究では,LLM駆動のコード生成システムにおけるフィードバックループの理解と実践的応用の両面から,コード障害の評価,修正パターンの分析,推論モデルと非推論モデルの有効性を比較した。 その結果、推論モデルは反復よりも一貫して改善され、フィードバックを活用する際に非推論モデルよりも大幅に向上する一方で、構文的および実行時のエラーは論理的またはアルゴリズム的失敗よりもはるかに難解であることがわかった。

関連論文リスト

• LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops [4.056039458255759]
  大きな言語モデル(LLM)は、ソースコードの生成において顕著なパフォーマンスを示している。 しかし、生成されたコードは、しばしばコンパイルエラーや間違ったコードのような問題を起こします。 本稿では,ソースコードとテストケースの両方の洗練を自動化するフレームワークであるLLMLOOPについて述べる。
  論文  参考訳（メタデータ） (2026-03-24T18:01:14Z)
• From Restructuring to Stabilization: A Large-Scale Experiment on Iterative Code Readability Refactoring with Large Language Models [5.31828955342405]
  大規模言語モデル(LLM)は、自動化されたコードタスクにますます使われています。 この記事では、コード可読性のためのLLMの能力を体系的に研究する。
  論文  参考訳（メタデータ） (2026-02-25T12:05:25Z)
• Holistic Evaluation of State-of-the-Art LLMs for Code Generation [5.504955093712013]
  DeepSeek-R1 と GPT-4.1 は、正確性、効率、堅牢性という点で他より一貫して優れている。 構文エラーや論理的欠陥,最適化アルゴリズムといった,一般的な障害シナリオを特定します。
  論文  参考訳（メタデータ） (2025-12-19T23:29:05Z)
• Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
  本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。 この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-01-28T15:41:54Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Reasoning Runtime Behavior of a Program with LLM: How Far Are We? [25.451857140926943]
  コードのための大規模な言語モデル(LLM)は、強力なコード理解と生成能力を示している。 コード推論は、コードLLMの最も重要な能力の1つである。 本稿では,プログラム実行によるLLMのコード推論能力と一貫性を評価するためのフレームワークであるRevalを提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:37:16Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。