論文の概要: Enforcing Code Reasoning in Agentic Scaffold for More Effective Issue Resolution
- arxiv url: http://arxiv.org/abs/2610.23782v1
- Date: Fri, 16 Oct 2026 17:16:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.033428
- Title: Enforcing Code Reasoning in Agentic Scaffold for More Effective Issue Resolution
- Title(参考訳): より効果的な課題解決のためのエージェントスカッフルにおけるコード推論の強制
- Abstract要約: ReAsoningはReActベースのプログラミングエージェントの中心であるが、コードに対する理由と理由はまだ不明である。
4つのプログラミング言語にまたがる6つの単一およびマルチエージェントの足場から、7,955個の課題解決トラジェクトリについて検討する。
66.95%のトラジェクトリで12種類のコード推論を同定する。
- 参考スコア(独自算出の注目度): 3.4251708067743127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning is central to ReAct-based programming agents, yet whether and how they reason about code remains unclear. We study 7,955 issue-resolution trajectories from six single- and multi-agent scaffolds across four programming languages on SWE-bench-Verified, SWE-bench-Pro, and SWE-bench-Lite. We identify 12 forms of code reasoning in 66.95% of trajectories. Code reasoning is associated with higher resolution rates, and its intensity increases with task complexity. However, it remains largely unguided: agents may focus on surface-level symptoms during localization, fail to refine near-correct patches, overlook issue requirements, and generate tests with limited behavioral diversity. To address these limitations, we propose DeskCheck, an agentic scaffold that systematically guides code reasoning throughout repository-level issue resolution. DeskCheck simulates execution paths to localize root causes, simulates candidate patches to refine near-misses, audits patches against issue requirements, and reasons about corner-case inputs and expected outputs before generating tests. On 731 SWE-bench-Pro instances, DeskCheck improves resolution rates over mini-SWE-Agent and Claude Code by 6.29% to 10.53%, at an additional cost of $0.02-$0.28 per instance (average: $0.14). Per-phase analyses show higher method-level localization recall, more successful repairs of imprecisely localized issues, and better detection of missed corner cases in near-correct patches. Exact McNemar tests show statistically significant improvements across all subject LLMs (p < 10^-10), while repeated experiments support robustness to agent nondeterminism. These findings motivate systematic code reasoning as a means of improving programming agents.
- Abstract(参考訳): ReAsoningはReActベースのプログラミングエージェントの中心であるが、コードに対する理由と理由はまだ不明である。
本研究では,SWE-bench-Verified,SWE-bench-Pro,SWE-bench-Liteの4つのプログラミング言語にまたがる6つの単一およびマルチエージェントの足場からの7,955個の課題解決トラジェクトリについて検討した。
66.95%のトラジェクトリで12種類のコード推論を同定する。
コードの推論は高い解像度率と関連付けられ、その強度はタスクの複雑さによって増加する。
エージェントは、ローカライゼーション中に表面レベルの症状に焦点を合わせ、修正に失敗し、問題要件を見落とし、行動の多様性が制限されたテストを生成する。
これらの制限に対処するため、リポジトリレベルのイシュー解決を通じてコードの推論を体系的に導くエージェントスキャフォールドであるDeskCheckを提案する。
DeskCheckは、ルート原因をローカライズするための実行パスをシミュレートし、候補パッチをシミュレートしてニアミスを精査し、問題要件に対するパッチを監査し、テストを生成する前にコーナーケースインプットと期待アウトプットに関する理由を説明した。
731 SWE-bench-Proインスタンスでは、DeskCheckはインスタンス当たり0.02-$0.28(平均0.14ドル)の追加費用で、ミニSWE-AgentとClaude Codeの6.29%を10.53%に改善した。
相別解析では,メソッドレベルのローカライゼーションのリコールが向上し,不正確な局所化問題の修復が成功し,ほぼ正当なパッチで欠落したコーナーケースの検出精度が向上した。
厳密なマクネマール試験は全ての被験者のLSMに対して統計的に有意な改善を示した(p < 10^-10)。
これらの知見は、プログラムエージェントを改善する手段として、体系的なコード推論を動機付けている。
関連論文リスト
- SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。
各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。
2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
論文 参考訳(メタデータ) (2026-08-10T16:23:19Z) - IssueExec: A Test-Driven Approach for Localizing Software Engineering Issues [31.053977727885762]
本稿では,課題記述とテスト表現のセマンティックなギャップを埋めるため,IssueExecを提案する。
IssueExecは最先端のパフォーマンスを実現し、最強のベースラインに対して関数レベルのRecall@1を41.57%改善した。
論文 参考訳(メタデータ) (2026-07-19T15:08:08Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳(メタデータ) (2026-03-25T19:26:44Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳(メタデータ) (2026-03-23T14:48:54Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳(メタデータ) (2026-03-15T16:13:58Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios [31.749442120603774]
問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。
私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
論文 参考訳(メタデータ) (2025-03-16T06:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。