論文の概要: Zero2Repo: Can Coding Agents Build Repositories from Scratch?
- arxiv url: http://arxiv.org/abs/2609.38269v1
- Date: Tue, 29 Sep 2026 14:10:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.449035
- Title: Zero2Repo: Can Coding Agents Build Repositories from Scratch?
- Title（参考訳）: Zero2Repo: コーディングエージェントはスクラッチからリポジトリを構築することができるか?
- Abstract要約: コーディングエージェントは、パッチをパッチするのではなく、ソフトウェアを構築するように求められている。
エージェントが製品要求文書、インターフェース契約、空のワークスペースを受信するベンチマークであるZero2Repoを紹介する。
タスクは言語に依存しないオーサリングパイプラインによって生成されます。
- 参考スコア（独自算出の注目度）: 31.166872626450697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are increasingly asked to build software rather than patch it, yet benchmarks for from-scratch repository construction are mostly limited to a single language and depend on manually curated tasks. We introduce Zero2Repo, a benchmark in which an agent receives a product requirements document, an interface contract, and an empty workspace, and must deliver a complete repository in the project's native ecosystem. Tasks are produced by a language-agnostic authoring pipeline that converts real, version-pinned open-source projects into behavioral specifications, reproducible environments, and hidden acceptance tests. Each task is validated by execution: a reference implementation derived from the upstream project must pass, and adversarial validation must show that the tests reject incorrect implementations. Evaluation runs production coding agents in isolated containers, withholds the acceptance tests until an explicit submission, and assigns a binary reward only when every test passes, with no LLM judge. The pipeline and harness make no language-specific assumptions and apply to mainstream programming ecosystems; the current release contains Python, TypeScript, Go, and C++ tasks. Even on 11 tasks drawn from repositories that frontier models have very likely seen during training, the strongest agent solves only 10, and every failing submission passes 90-99% of the hidden tests; for the two strongest agents, 67-100% of failed tests trace to a single omission or a low-frequency rule stated in the specification rather than to a missing subsystem, so each failure is a concrete target for improvement.
- Abstract（参考訳）: コーディングエージェントはパッチではなくソフトウェアを構築するように求められている。しかし、in-scratchリポジトリ構築のベンチマークは、主に単一の言語に限られており、手作業でキュレートされたタスクに依存している。
Zero2Repoは、エージェントが製品要求文書、インターフェース契約、空のワークスペースを受け取るベンチマークで、プロジェクトのネイティブエコシステムに完全なリポジトリを提供する必要があります。
タスクは言語に依存しないオーサリングパイプラインによって作成され、実際のバージョン管理されたオープンソースプロジェクトを振る舞い仕様、再現可能な環境、隠れた受け入れテストに変換する。
各タスクは実行によって検証される: 上流プロジェクトから派生した参照実装はパスしなければならない。
評価は、独立したコンテナ内で本番のコーディングエージェントを実行し、明示的に提出されるまで受け入れテストを保持し、テストが通過するたびにのみバイナリの報酬を割り当てる。
現在のリリースにはPython、TypeScript、Go、C++タスクが含まれている。
トレーニング中にフロンティアモデルから引き出された11のタスクでも、最強のエージェントは10個しか解決せず、失敗する各エージェントは、隠されたテストの90～99%をパスしている。
関連論文リスト
- E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
論文 参考訳（メタデータ） (2026-09-29T18:02:25Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。
Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。
ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
論文 参考訳（メタデータ） (2026-08-13T17:41:27Z) - SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。
各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。
2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
論文 参考訳（メタデータ） (2026-08-10T16:23:19Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - RepoMod-Bench: A Benchmark for Code Repository Modernization via Implementation-Agnostic Testing [1.4069797812477614]
本稿では,実装に依存しない評価パラダイムに基づく,リポジトリレベルのコードモダナイゼーションのためのベンチマークフレームワークを紹介する。
RepoMod-Benchは8つの言語にまたがる、標準化されたインターフェースを備えた21の現実世界リポジトリのベンチマークである。
ベンチマークには1.6万行のコード(LOC)と11,616のテストが含まれており、リポジトリのサイズは14～211KLOCである。
論文 参考訳（メタデータ） (2026-02-26T01:25:00Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。