論文の概要: A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents
- arxiv url: http://arxiv.org/abs/2608.09072v1
- Date: Mon, 10 Aug 2026 03:22:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.064706
- Title: A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents
- Title（参考訳）: 符号化エージェントの要求明確化・計画・コード生成のための統一的課題解決ベンチマーク
- Abstract要約: SWE-RPGはリポジトリレベルのベンチマークで、実行可能パッチ評価と検証済みの地味な参照を組み合わせる。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントを6つの大きな言語モデルバックエンドで評価します。
- 参考スコア（独自算出の注目度）: 16.4855244145731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model-powered coding agents are increasingly used to modify existing code repositories, for example, by adding features or fixing bugs. Yet existing repository-level benchmarks typically evaluate only whether the final patch passes tests. Satisfying a user request requires a long chain of interdependent reasoning and decisions: an agent must recover explicit and implicit requirements, formulate a repository-grounded implementation plan, and translate it into correct code. A pass/fail outcome cannot characterize how an unsuccessful trajectory diverges from the requirements and implementation process needed for a correct patch. To address this gap, we introduce SWE-RPG, a repository-level benchmark that combines executable patch evaluation with validated ground-truth references (GTs) for (1) Requirement Clarification and (2) Implementation Planning. These intermediate GTs support retrospective, GT-aligned diagnosis of complete coding-agent trajectories across clarification, planning, code generation, and artifact submission. SWE-RPG comprises 163 tasks from 31 Python and Java repositories, including 113 bug fixes and 50 feature additions. We evaluate 3 coding agents, including Claude Code, Codex, and OpenCode, with 6 large language model backends, including Claude-Sonnet-5 and GPT-5.6-Terra. Results show that the evaluated popular coding agents still struggle to implement user requests in existing repositories, achieving an average resolved rate of only 31.5% on SWE-RPG. Intermediate-GT diagnosis further identifies implicit requirement recovery as the main bottleneck, accounting for 24.5%--46.0% of agent runs. This result suggests implicit-requirement recovery as a key candidate direction for improving coding agents. The benchmark data and evaluation code are available at https://github.com/Xin-Zhou-smu/SWE-RPG-Bench.
- Abstract（参考訳）: 大規模な言語モデルによるコーディングエージェントは、例えば、機能の追加やバグの修正などによって、既存のコードリポジトリの変更にますます使用されている。
しかし、既存のリポジトリレベルのベンチマークは通常、最終パッチがテストに合格するかどうかのみを評価する。
エージェントは明示的で暗黙的な要求を回復し、リポジトリで構築された実装計画を定式化し、それを正しいコードに変換する必要があります。
パス/フェイルの結果は、失敗した軌道が正しいパッチに必要な要件と実装プロセスからどのように分岐するかを特徴づけることができない。
このギャップに対処するために,(1)要求の明確化と(2)実装計画のための,実行可能なパッチ評価と検証済みのグランドトルース参照(GTs)を組み合わせたリポジトリレベルのベンチマークであるSWE-RPGを紹介する。
これらの中間的なGTは、ふりかえり、GTに準拠した、明確化、計画、コード生成、アーティファクトの提出を含む完全なコーディングエージェントの軌道の診断をサポートする。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
我々は、Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントの評価を行い、Claude-Sonnet-5とGPT-5.6-Terraを含む6つの大きな言語モデルバックエンドを評価した。
その結果、評価された一般的なコーディングエージェントは、既存のリポジトリでユーザリクエストを実装するのに依然として苦労しており、SWE-RPG上での平均的な解決率は31.5%であることがわかった。
中間GT診断は、暗黙の要求回復を主要なボトルネックとして認識し、エージェントランの24.5%-46.0%を占める。
この結果は、暗黙的な要求回復が、コーディングエージェントの改善の鍵となる候補であることを示している。
ベンチマークデータと評価コードはhttps://github.com/Xin-Zhou-smu/SWE-RPG-Benchで公開されている。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation [53.85136813868056]
ACToRは、リポジトリレベルのコード生成のための適応型クリティカルトークン対応検索フレームワークである。
我々は、ACToRが、リポジトリレベルのベンチマークにおいて、最先端のメソッドを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-09-01T17:59:39Z) - SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories [13.437222222971272]
仕様パスの感度は、最終的な意味において等価な要求履歴が同一のエージェントシステムに振る舞いの異なるプログラムを作成させる障害モードである。
本稿では,契約に至るリビジョンパスのみを変更しつつ,リポジトリ,最終契約,検証,エージェントシステム,実行予算を保持する診断評価であるSpecPathを紹介する。
論文 参考訳（メタデータ） (2026-08-10T16:19:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳（メタデータ） (2026-06-22T16:17:30Z) - Automating Formal Verification with Agent-Guided Tree Search [0.0]
形式的検証は、ソフトウェアを確実に修正する道を提供するが、検証済みのコードを書くのに十分な費用がかかるため、本番ではほとんど使われない。
最近のベンチマークでは、仕様をコードに変換する能力と、マシンチェックによる正確さの反復を計測している。
この論文は、リーンにおけるLCM駆動による検証コード生成の状況を評価し、パフォーマンスを改善するための検索ベースの手法を開発する。
論文 参考訳（メタデータ） (2026-05-26T14:50:47Z) - BLAgent: Agentic RAG for File-Level Bug Localization [2.2917707112773593]
BLAgentはファイルレベルのバグローカライゼーションのための新しいエージェントRAGフレームワークである。
BLAgentは、オープンソースモデルで78%以上のTop-1精度を達成した。
BLAgentは、エンドツーエンドの修復の成功を20%以上改善する。
論文 参考訳（メタデータ） (2026-05-18T07:20:13Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。
本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。
我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
論文 参考訳（メタデータ） (2026-03-25T05:27:03Z) - SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。
我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
論文 参考訳（メタデータ） (2026-02-18T18:09:03Z) - GREPO: A Benchmark for Graph Neural Networks on Repository-Level Bug Localization [50.009407518866965]
リポジトリレベルのバグローカライゼーションは、ソフトウェアエンジニアリングの重要な課題です。
GNNは、複雑なリポジトリ全体の依存関係をモデル化できるため、有望な代替手段を提供する。
GREPOは、リポジトリスケールのバグローカライゼーションタスクのための最初のGNNベンチマークである。
論文 参考訳（メタデータ） (2026-02-14T23:22:15Z) - Pull Requests as a Training Signal for Repo-Level Code Editing [49.82435173554125]
Clean Pull Request(Clean-PR)は、現実のGitHubプルリクエストをリポジトリレベルの編集のトレーニングシグナルとして活用する、トレーニング中のパラダイムである。
ノイズの多いプルリクエストの差分を,再構築と検証を通じて検索/リプレース編集ブロックに変換する,スケーラブルなパイプラインを導入する。
SWE-benchでは,SWE-bench Liteが13.6%,SWE-bench Verifiedが12.3%,命令調整ベースラインが大幅に向上した。
論文 参考訳（メタデータ） (2026-02-07T09:22:25Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。