論文の概要: Beyond Accuracy: Behavioral Dynamics of Agentic Multi-Hunk Repair
- arxiv url: http://arxiv.org/abs/2511.11012v1
- Date: Fri, 14 Nov 2025 07:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.466672
- Title: Beyond Accuracy: Behavioral Dynamics of Agentic Multi-Hunk Repair
- Title（参考訳）: 精度を超えて:エージェントマルチハンク修復の挙動ダイナミクス
- Authors: Noor Nashid, Daniel Ding, Keheliya Gallaba, Ahmed E. Hassan, Ali Mesbah,
- Abstract要約: マルチハンクバグの修復には、複数の非結合コード領域にまたがるコーディネート編集が必要である。
我々は、Hunk4Jデータセットから372個のマルチハンクバグ(Claude Code, Codex, Gemini-cli, Qwen Code)を評価する。
- 参考スコア（独自算出の注目度）: 6.60715519922201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated program repair has traditionally focused on single-hunk defects, overlooking multi-hunk bugs that are prevalent in real-world systems. Repairing these bugs requires coordinated edits across multiple, disjoint code regions, posing substantially greater challenges. We present the first systematic study of LLM-driven coding agents (Claude Code, Codex, Gemini-cli, and Qwen Code) on this task. We evaluate these agents on 372 multi-hunk bugs from the Hunk4J dataset, analyzing 1,488 repair trajectories using fine-grained metrics that capture localization, repair accuracy, regression behavior, and operational dynamics. Results reveal substantial variation: repair accuracy ranges from 25.8% (Qwen Code) to 93.3% (Claude Code) and consistently declines with increasing bug dispersion and complexity. High-performing agents demonstrate superior semantic consistency, achieving positive regression reduction, whereas lower-performing agents often introduce new test failures. Notably, agents do not fail fast; failed repairs consume substantially more resources (39%-343% more tokens) and require longer execution time (43%-427%). Additionally, we developed Maple to provide agents with repository-level context. Empirical results show that Maple improves the repair accuracy of Gemini-cli by 30% through enhanced localization. By analyzing fine-grained metrics and trajectory-level analysis, this study moves beyond accuracy to explain how coding agents localize, reason, and act during multi-hunk repair.
- Abstract（参考訳）: プログラムの自動修復は、伝統的に、現実世界のシステムでよく見られるマルチハンクなバグを見越して、シングルハンクな欠陥に焦点を合わせてきた。
これらのバグを修復するには、複数の非結合なコード領域にまたがるコーディネート編集が必要である。
本研究は, LLM駆動型符号化エージェント(Claude Code, Codex, Gemini-cli, Qwen Code)について, 初めて系統的研究を行ったものである。
Hunk4Jデータセットから得られた372個のマルチハンクバグに対して, 局所化, 修復精度, 回帰挙動, 動作動態を捉える詳細な指標を用いて, 1,488個の補修軌道を解析した。
修復精度は25.8%(Qwen Code)から93.3%(Claude Code)まで、バグの分散と複雑さの増加とともに一貫して低下している。
高パフォーマンスエージェントは、優れたセマンティック一貫性を示し、ポジティブな回帰還元を達成する一方、低パフォーマンスエージェントは、しばしば新しいテスト失敗をもたらす。
特に、エージェントは高速に失敗せず、修復が失敗した場合、はるかに多くのリソース(39%から343%のトークン)を消費し、実行時間を長くする(43%から427%)。
さらに、リポジトリレベルのコンテキストをエージェントに提供するために、Mapleを開発しました。
実験の結果,Mapleは局所化を増強することにより,Gemini-cliの修復精度を30%向上することがわかった。
微粒な測定値と軌跡レベルの分析により、コーディングエージェントがマルチハンク修復中にどのようにローカライズし、理性し、行動するかを正確に説明できる。
関連論文リスト
- BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - An Empirical Study on Failures in Automated Issue Solving [12.571536148821144]
我々は,SWE-Bench-Verifiedの自動問題解決タスクにおいて,パイプラインベースとエージェントアーキテクチャの両方にまたがる3つのSOTAツールの性能と効率を分析する。
ハイレベルなパフォーマンス指標から根本原因分析に移行するために,150件の障害事例の体系的手動分析を行った。
その結果、2つのアーキテクチャパラダイムの間には明確な失敗の指紋が明らかとなり、ほとんどのエージェント的失敗は、欠陥のある推論と認知的デッドロックに起因する。
論文 参考訳（メタデータ） (2025-09-17T13:07:52Z) - Automated Repair of C Programs Using Large Language Models [0.0]
本研究では,Cプログラムの修復を自動化する上で,LLM(Large Language Models)の可能性について検討する。
本稿では,SBFL(Spectrum-based Fault Localization),ランタイムフィードバック,Chain-of-Thought-structured(Chain-of-Thought-structured)を自動修復ループに統合するフレームワークを提案する。
我々の手法は44.93%の修理精度を達成し、最先端のAPRベースラインに対する3.61%の絶対的な改善を示している。
論文 参考訳（メタデータ） (2025-09-02T04:34:11Z) - Boosting Redundancy-based Automated Program Repair by Fine-grained Pattern Mining [18.7107522872479]
本稿では,効果的なパッチ生成を導くための2段階のパターンマイニングプロセスを含むRepattという新しい修復手法を提案する。
我々は、広く使われているDefects4Jベンチマークの実験を行い、Repattを10の最先端のAPRアプローチと比較した。
論文 参考訳（メタデータ） (2023-12-26T08:42:32Z) - Generating Bug-Fixes Using Pretrained Transformers [11.012132897417592]
実世界のgithubからマイニングしたjavaメソッドのバグの検出と修正を学ぶ,データ駆動型プログラム修復手法を導入する。
ソースコードプログラムの事前トレーニングは,スクラッチからの教師ありトレーニングに比べて,33%のパッチ数を改善することを示す。
我々は,標準精度評価基準を非削除および削除のみの修正に洗練し,我々の最良モデルが従来よりも75%多くの非削除修正を生成することを示す。
論文 参考訳（メタデータ） (2021-04-16T05:27:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。