論文の概要: E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
- arxiv url: http://arxiv.org/abs/2609.38335v1
- Date: Tue, 29 Sep 2026 18:02:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.558294
- Title: E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
- Title（参考訳）: E2E-SWE: Scratchによる作業コードベース構築のためのLLMのベンチマーク
- Abstract要約: コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
- 参考スコア（独自算出の注目度）: 22.683140191384652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents powered by large language models (LLMs) are evolving from making localized code changes to developing complete software repositories. However, evaluating repository-scale generation remains challenging: tasks must demand system-level reasoning while ensuring that all evaluated behaviors are precisely specified and independent of any particular implementation. We introduce E2E-SWE, a benchmark for evaluating whether coding agents can build complete, functional software repositories end to end. E2E-SWE contains 186 whole-repository generation tasks spanning 11 programming languages. Given only a natural-language specification and an empty workspace, an agent must implement a complete, installable project that satisfies a comprehensive suite of hidden tests. Each task is constructed by a software engineer in collaboration with an LLM; together, they develop the test suite and a corresponding implementation-independent specification. To ensure that tasks are well specified and practically solvable, we further subject them to an iterative verification process in which autonomous agents audit and repair task defects using static inspection and failures observed from real model rollouts. Evaluating 13 frontier models, we find substantial variation in end-to-end repository generation ability, with pass@1 ranging from 11.7% to 67.7%, providing strong model differentiation while leaving considerable headroom for future progress. Analysis of agent trajectories further reveals long, front-loaded reasoning patterns, highlighting the planning and system-level reasoning required to construct working codebases from scratch.
- Abstract（参考訳）: 大規模言語モデル(LLM)を利用したコーディングエージェントは、ローカライズされたコードの変更から、完全なソフトウェアリポジトリの開発へと進化している。
タスクはシステムレベルの推論を要求し、評価されたすべての振る舞いが正確に指定され、特定の実装に依存しないことを保証する必要がある。
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
自然言語仕様と空のワークスペースのみを考えると、エージェントは隠れテストの包括的なスイートを満たす完全でインストール可能なプロジェクトを実装する必要がある。
各タスクは、ソフトウェアエンジニアがLLMと共同で構築し、テストスイートとそれに対応する実装に依存しない仕様を開発する。
タスクが適切に特定され、事実上解決可能であることを保証するため、自律エージェントが静的検査と実際のモデルロールアウトから観測された障害を用いてタスク欠陥を検査・修復する反復的検証プロセスを提案する。
13のフロンティアモデルを評価すると、パス@1は11.7%から67.7%まで、エンドツーエンドのリポジトリ生成能力はかなりのばらつきがある。
エージェントのトラジェクトリの分析により、作業コードベースをスクラッチから構築するために必要な計画とシステムレベルの推論が強調され、前もってロードされた長い推論パターンが明らかになる。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents [1.4323566945483497]
ファンデーションモデルは、自動コード生成を変革しましたが、現実的な開発環境では、自律的なソフトウェアエンジニアリングエージェントは信頼できないままです。
本稿では,基盤モデルエージェントがプロジェクトを観察し,それを処理し,フィードバックを受信し,変更が完了したことを確定する,モデルハーネス環境システムを提案する。
このフレームワークは、ファンデーションモデルがパッチを作成できるかどうかから、モデルハーネス環境システムが検証可能な正確さ、属性、メンテナンス可能な変更を生成できるかどうかという、自律的なソフトウェアエンジニアリングの中心的な疑問を再考する。
論文 参考訳（メタデータ） (2026-05-13T11:14:59Z) - GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである
現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。
実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
論文 参考訳（メタデータ） (2026-04-17T05:36:00Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration [7.89414068452646]
SWE-CIは継続的インテグレーションループ上に構築された最初のリポジトリレベルのベンチマークである。
コード生成のための評価パラダイムを静的・短期的テキスト機能的正当性から動的・長期的テキスト保守性へシフトすることを目的としている。
論文 参考訳（メタデータ） (2026-03-04T08:20:25Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents [79.29376673236142]
既存のベンチマークは、完全なソフトウェアシステムを構築するのに必要な長期的能力の厳格な評価に失敗する。
符号化エージェントの長期リポジトリ生成能力を評価するために設計されたベンチマークであるNL2Repo Benchを提案する。
論文 参考訳（メタデータ） (2025-12-14T15:12:13Z) - Dynamic Benchmark Construction for Evaluating Large Language Models on Real-World Codes [33.80591142965565]
CODE2BENCHは、実世界のGitHubリポジトリから、堅牢で汚染に強いベンチマークを動的に構築するためのパイプラインである。
特に、CODE2BENCHは、(1) トレーニングデータの汚染を最小限に抑えるために、最近のコードの周期的取り込みによって達成される自動ダイナミズム、(2) 依存レベルの制御されたベンチマークインスタンスへの関数の構造化可能なスコープグラフベースの依存性分析、(3) 厳密なテストスイートの自動合成のためのプロパティベーステスト(PBT)の3つの重要なイノベーションを紹介している。
論文 参考訳（メタデータ） (2025-08-10T05:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。