論文の概要: DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks
- arxiv url: http://arxiv.org/abs/2607.07946v1
- Date: Wed, 08 Jul 2026 21:45:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.350849
- Title: DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks
- Title（参考訳）: DeepSWE: オリジン, 長距離エンジニアリングタスクにおけるフロンティア符号化エージェントの測定
- Abstract要約: DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
- 参考スコア（独自算出の注目度）: 1.7623000586936592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DeepSWE is a benchmark of 113 original, long-horizon software engineering tasks for evaluating coding agents. Most public agentic coding benchmarks follow SWE-bench in mining merged fixes from public GitHub repositories, which creates two problems: the fixes and their discussion were likely seen during pretraining, so a high score can reflect recall rather than problem-solving; and each task is graded by the tests that shipped with its merged fix, which were written to confirm one specific fix rather than grade an arbitrary solution, so they can fail a correct alternative or pass an incomplete one. DeepSWE avoids both. Its tasks are written from scratch across 91 active open-source repositories and five languages and are never contributed back upstream, so their reference solutions stay out of the public record that model training scrapes; and each task is graded by a hand-written verifier that checks the requested functionality and accepts any implementation that provides it. When an independent LLM judge re-reviews graded runs, it disagrees with DeepSWE's verifier about an order of magnitude less often than with SWE-Bench Pro's inherited tests (1.4% versus 32.4%). Despite being about half the length of SWE-Bench Pro's prompts, DeepSWE's prompts describe tasks whose reference solutions touch 5.5x more code, and the benchmark separates frontier agents across a wider score band than the leaderboards on which they otherwise cluster. We release the benchmark, its verifiers, and the full record of evaluation trajectories.
- Abstract（参考訳）: DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
公開GitHubリポジトリからのマージフィックスのマイニングにおいて、ほとんどの公開エージェントコーディングベンチマークがSWEベンチマークに従っている。これは2つの問題を生み出している。修正とその議論は事前トレーニング中に見られる可能性が高いため、高いスコアは問題解決よりもリコールを反映できる。
DeepSWEは両方を避けます。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流ではコントリビュートされないため、参照ソリューションはモデルトレーニングがスクラップするパブリックレコードから外れ、各タスクは、要求された機能をチェックし、それを提供する実装を受け入れる手書き検証によって評価される。
LLMの独立した審査員が再審査を行うと、SWE-Bench Proの継承試験(1.4%対32.4%)に比べて、DeepSWEの検証結果が桁違いに低いという意見に反対する。
SWE-Bench Proのプロンプトのおよそ半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
ベンチマーク、検証器、評価トラジェクトリの全記録を公開します。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。
各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。
2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
論文 参考訳（メタデータ） (2026-08-10T16:23:19Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - Does SWE-Bench-Verified Test Agent Ability or Model Memory? [2.937612609787308]
SWE-Bench-Verifiedは500の課題からなるデータセットである。
このベンチマークは、モデルのトレーニングデータと重複する可能性がある。
ベンチマークに提出されたトップパフォーマンスエージェントに頻繁に現れる2つのClaudeモデルをテストする。
論文 参考訳（メタデータ） (2025-12-11T02:11:06Z) - InfCode: Adversarial Iterative Refinement of Tests and Patches for Reliable Software Issue Resolution [31.874379525390967]
InfCodeは、リポジトリレベルの自動イシュー解決のための、対向的なマルチエージェントフレームワークである。
InfCodeは、テストパッチジェネレータとコードパッチジェネレータの間の逆インタラクションを通じて、テストとパッチの両方を反復的に洗練する。
DeepSeek-V3やClaude 4.5 Sonnetといったモデルを用いたSWE-bench LiteとSWE-benchの検証実験は、InfCodeが一貫して強力なベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-11-20T03:04:21Z) - ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。
我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。
実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
論文 参考訳（メタデータ） (2025-10-23T06:58:32Z) - UTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench [8.00058513405915]
LLM駆動のテストケースジェネレータであるUTGeneratorを導入し、実世界のPythonプロジェクトのテストケースを生成する。
UTGenerator上に構築されたUTBoostは、テストケース拡張のための包括的なフレームワークである。
評価では,テストケースが不十分な36のタスクインスタンスを同定し,元のSWE Benchに渡された345の誤ったパッチを誤ってラベル付けした。
論文 参考訳（メタデータ） (2025-06-10T22:56:49Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios [31.749442120603774]
問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。
私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
論文 参考訳（メタデータ） (2025-03-16T06:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。