論文の概要: Is Three the Magic Number? An Empirical Evaluation of LLM-Based Repair Loops

• arxiv url: http://arxiv.org/abs/2607.05197v1
• Date: Mon, 06 Jul 2026 15:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.205566
• Title: Is Three the Magic Number? An Empirical Evaluation of LLM-Based Repair Loops
• Title（参考訳）: マジックナンバーは3つか? : LLMによる修復ループの実証評価
• Abstract要約: 反復修復ループは、LLMベースのソフトウェアエンジニアリングシステムにおいて、コアデザインパターンとなっている。 コード生成,テスト生成,コード翻訳など,複数のソフトウェアエンジニアリングタスクにおける修復ループの有効性について検討する。 最初の3～4回の修正イテレーションは、達成可能な利益の大部分を占め、後のイテレーションは、限界的な改善にのみ貢献します。
• 参考スコア（独自算出の注目度）: 1.6093668627931699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative repair loops have become a core design pattern in LLM-based software engineering systems. These workflows repeatedly generate, validate, and repair artifacts using feedback such as compiler errors or test failures. Despite their widespread use, the impact of repair-loop iteration limits remains poorly understood, as most prior work adopts fixed, often arbitrary, repair budgets. We study repair-loop effectiveness across multiple software engineering tasks, including code generation, test generation, and code translation. Across several representative workflows, datasets, and contemporary low-cost LLMs, we observe a consistent pattern of diminishing returns: the first three to four repair iterations account for most achievable gains, while later iterations contribute only marginal improvements. We further find that repair behavior is influenced more strongly by workflow orchestration and feedback design than by the underlying model itself. These results suggest that repair budgets should be treated as an explicit experimental variable, as they directly affect evaluation outcomes, computational cost, runtime, and reproducibility in LLM-based software engineering research.
• Abstract（参考訳）: 反復修復ループは、LLMベースのソフトウェアエンジニアリングシステムにおいて、コアデザインパターンとなっている。 これらのワークフローは、繰り返し、コンパイラエラーやテストの失敗といったフィードバックを使ってアーティファクトを生成し、検証し、修復する。 広く使われているにもかかわらず、修理ループの繰り返しの制限の影響は理解されていない。 コード生成,テスト生成,コード翻訳など,複数のソフトウェアエンジニアリングタスクにおける修復ループの有効性について検討する。 いくつかの代表的なワークフロー、データセット、そして現代の低コストのLCMにおいて、リターンが減少する一貫したパターンが観察されている。 さらに、リファクタリングの動作は、基礎となるモデル自体よりもワークフローのオーケストレーションやフィードバック設計に強く影響されていることが分かりました。 これらの結果は,LLMベースのソフトウェア工学研究における評価結果,計算コスト,実行時間,再現性に直接影響するため,修復予算を明示的な実験変数として扱うべきであることを示唆している。

関連論文リスト

• Unlocking LLM Code Correction with Iterative Feedback Loops [5.504955093712013]
  本研究では、コード障害の評価、修正パターンの分析、推論と非推論モデルの有効性の比較を行うメトリクスを紹介する。 その結果、推論モデルは反復よりも一貫して改善され、フィードバックを活用する際に非推論モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-06-16T04:47:42Z)
• QiMeng-PRepair: Precise Code Repair via Edit-Aware Reward Optimization [50.722636027998]
  大規模言語モデル (LLM) はプログラム修復性能が高いが、しばしば過剰な編集に悩まされる。 オーバー編集を軽減し,修復精度を向上させるフレームワークであるPRepairを提案する。
  論文  参考訳（メタデータ） (2026-04-07T14:56:38Z)
• From Human to Machine Refactoring: Assessing GPT-4's Impact on Python Class Quality and Readability [46.83143241367452]
  リファクタリングは、プログラムの振る舞いを変えることなく、コード品質を改善することを目的としている。 LLM(Large Language Models)の最近の進歩は、コードの自動保存に新たな機会をもたらしている。 GPT-4o を用いて,クラスEval ベンチマークから 100 個の Python クラスに適用した LLM 型クラスに関する実証的研究を行った。 以上の結果から, GPT-4oは, 可読性の低下を犠牲にしながら, コードの臭いを低減し, 品質指標を改善する行動保存剤を一般的に生産していることが示唆された。
  論文  参考訳（メタデータ） (2026-01-19T15:22:37Z)
• Summary-Mediated Repair: Can LLMs use code summarisation as a tool for program repair? [0.0]
  大きな言語モデル(LLM)は、強いベンチマーク性能にもかかわらず、微妙な実装レベルのバグのあるコードを生成することが多い。 本稿では,プログラム修復のためのプロンプトのみのパイプラインである要約型修復を提案する。
  論文  参考訳（メタデータ） (2025-11-24T05:33:38Z)
• RelRepair: Enhancing Automated Program Repair by Retrieving Relevant Code [11.74568238259256]
  RelRepairは関連するプロジェクト固有のコードを取得し、プログラムの自動修復を強化する。 広く研究されている2つのデータセット、Defects4J V1.2 と ManySStuBs4J について RelRepair の評価を行った。
  論文  参考訳（メタデータ） (2025-09-20T14:07:28Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
  複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。 3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。 その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
  論文  参考訳（メタデータ） (2025-05-05T18:06:51Z)
• FeedbackEval: A Benchmark for Evaluating Large Language Models in Feedback-Driven Code Repair Tasks [28.849481030601666]
  本稿では,大規模言語モデルのフィードバック理解と性能を評価するベンチマークであるFeedbackEvalを紹介する。 我々は,GPT-4o,Claude-3.5,Gemini-1.5,GLM-4,Qwen2.5の5つの最先端LCMについて総合的研究を行った。 その結果, 構造的フィードバック, 特にテストフィードバックの形では, 修復成功率が最も高く, 非構造的フィードバックは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2025-04-09T14:43:08Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• RePair: Automated Program Repair with Process-based Feedback [28.017321930042694]
  本稿では,プロセスの監督とフィードバックによって,小規模言語モデル(LM)が優れたパフォーマンスを実現する方法を示す。 我々は、批評家として機能する報酬モデルを開発し、微調整されたLMの行動に対するフィードバックを提供する。 その結果, プロセスベースでは, より大きな結果に基づく生成方法よりも, クローズドソースの大規模LMの性能にほぼ匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2024-08-21T02:53:23Z)
• Investigating the Transferability of Code Repair for Low-Resource Programming Languages [57.62712191540067]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著なパフォーマンスを示している。 近年の作業は、連鎖推論や蒸留といった現代的な技術を統合することで、コード修復のプロセスを強化している。 高低資源言語と低低資源言語の両方でコード修復を蒸留する利点について検討する。
  論文  参考訳（メタデータ） (2024-06-21T05:05:39Z)
• MORepair: Teaching LLMs to Repair Code via Multi-Objective Fine-tuning [25.03477973238162]
  プログラム修復タスクに対するLLM(Large Language Model)の微調整アプローチは、コード変更の背後にあるロジックを推論する必要性を見落としている。 サイズやアーキテクチャの異なる4つのオープンソース LLM にMOobjective を適用する。 我々の微調整戦略は、最先端のアプローチよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-04-19T05:36:21Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。