論文の概要: SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
- arxiv url: http://arxiv.org/abs/2609.08149v1
- Date: Tue, 08 Sep 2026 02:29:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.554572
- Title: SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
- Title（参考訳）: SWE-Bench Pro検証: ソフトウェアエンジニアリングエージェントのための信頼性の高いベンチマーク
- Abstract要約: SWE-Bench Proは、ソフトウェアエンジニアリングエージェントを評価するための標準ベンチマークとして登場した。
SWE-Bench Proの検証版である textbfSWE-Bench Pro について述べる。
- 参考スコア（独自算出の注目度）: 8.395965809081927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-level tasks. However, our analysis work show that its evaluation is undermined by two sources of unreliability: \textbf{reward hacking}, enabled by leakage of gold solutions or hidden evaluation information, and \textbf{task quality issues}, including misleading problem statements and improperly scoped tests. These issues can inflate benchmark performance and obscure agents' true coding ability. We present \textbf{SWE-Bench Pro Verified}, a verified version of SWE-Bench Pro that addresses both problems. Our approach combines \textbf{anti-hacking} safeguards that eliminate major leakage channels without disrupting normal agent functionality, with \textbf{task refinement} that minimally corrects inconsistencies within flawed instances. Evaluations on SWE-Bench Pro Verified reveal that some models perform substantially worse than previously reported, suggesting that existing results on SWE-Bench Pro may overestimate real software engineering capability. SWE-Bench Pro Verified offers a more trustworthy benchmark for assessing software engineering agents.
- Abstract（参考訳）: SWE-Bench Proは、リポジトリレベルの課題に対してソフトウェアエンジニアリングエージェントを評価するための標準ベンチマークとして登場した。
しかし,本研究では,金解の漏れや隠れた評価情報によって可能となる「textbf{reward Hacking}」と,誤解を招く問題文や不適切なスコープテストを含む「textbf{task quality issues}」という2つの信頼性の欠如により,その評価が損なわれていることを示す。
これらの問題は、ベンチマークパフォーマンスと不明瞭なエージェントの真のコーディング能力に影響を及ぼす可能性がある。
本稿では,SWE-Bench Pro の検証版である \textbf{SWE-Bench Pro Verified} について述べる。
当社のアプローチでは,通常のエージェント機能を損なうことなく,大規模な漏洩チャネルを除去する‘textbf{anti-hacking’セーフガードと,欠陥のあるインスタンス内の不整合を最小限に補正する‘textbf{task refinement’を組み合わせる。
SWE-Bench Pro Verifiedの評価は、いくつかのモデルが以前報告したよりも著しくパフォーマンスが悪く、既存のSWE-Bench Proの結果が実際のソフトウェアエンジニアリング能力を過大評価していることを示している。
SWE-Bench Pro Verifiedは、ソフトウェアエンジニアリングエージェントを評価する上で、より信頼できるベンチマークを提供する。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。
各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。
2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
論文 参考訳（メタデータ） (2026-08-10T16:23:19Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。
4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。
最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
論文 参考訳（メタデータ） (2026-05-18T08:34:48Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - ELT-Bench-Verified: Benchmark Quality Issues Underestimate AI Agent Capabilities [4.5258165293324515]
Extract-Load-Transformパイプラインは、労働集約的なデータエンジニアリングタスクであり、AI自動化の高インパクトターゲットである。
エンドツーエンドのETLパイプライン構築のための最初のベンチマークであるETL-Benchでは、AIエージェントが最初に成功率を低くした。
これらの結果を再検討し,エージェント能力を著しく過小評価する要因を2つ同定した。
論文 参考訳（メタデータ） (2026-03-31T08:02:16Z) - SastBench: A Benchmark for Testing Agentic SAST Triage [3.1175243456844832]
SastBenchは、実CVEを真正値、フィルターしたSASTツールを近似偽正値として組み合わせたSASTトリアージエージェントを評価するためのベンチマークである。
ベンチマークで異なるエージェントを評価し,その性能の比較分析を行った。
論文 参考訳（メタデータ） (2026-01-06T11:36:30Z) - ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。
我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。
実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
論文 参考訳（メタデータ） (2025-10-23T06:58:32Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z) - Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。
当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。
当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
論文 参考訳（メタデータ） (2025-03-31T07:31:32Z) - The Impact of SBOM Generators on Vulnerability Assessment in Python: A Comparison and a Novel Approach [56.4040698609393]
Software Bill of Materials (SBOM) は、ソフトウェア構成における透明性と妥当性を高めるツールとして推奨されている。
現在のSBOM生成ツールは、コンポーネントや依存関係を識別する際の不正確さに悩まされることが多い。
提案するPIP-sbomは,その欠点に対処する新しいピップインスパイアされたソリューションである。
論文 参考訳（メタデータ） (2024-09-10T10:12:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。