論文の概要: BackendForge: Benchmarking Agentic End-to-End Code Generation with Backend Services
- arxiv url: http://arxiv.org/abs/2607.11042v1
- Date: Mon, 13 Jul 2026 03:13:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.322845
- Title: BackendForge: Benchmarking Agentic End-to-End Code Generation with Backend Services
- Title（参考訳）: BackendForge: バックエンドサービスによるエージェントのエンドツーエンドコード生成のベンチマーク
- Abstract要約: BackendForgeは56のコントラクト定義のバックエンド生成タスクのベンチマークである。
隠れた要件を導入することなく評価を強化するために、BackendForgeはテストエージェントとコードエージェントを使用して、テストオラクルと参照サービスを共同開発する。
最も優れたモデルであるGPT-5.5は、基本オラクルの下で55.4%のタスクで成功するが、最終オラクルの下では28.6%しか成功しない。
- 参考スコア（独自算出の注目度）: 14.181280860081495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used in agentic coding settings, where they can inspect files, execute commands, run tests, observe failures, and iteratively revise code. This shift raises a central evaluation question: can an agentic LLM generate an end-to-end software artifact that is both deployable and behaviorally correct under execution? Backend services provide a controlled but realistic substrate for this evaluation. Their APIs expose application-level executable semantics, and deployed behavior can be checked deterministically against an OpenAPI contract through black-box HTTP interactions. We introduce BackendForge, a benchmark of 56 contract-defined backend generation tasks rewritten from real open-source applications. Given a visible specification and an OpenAPI contract, an LLM must generate a Dockerized service that is built, deployed, and evaluated only through HTTP tests. To strengthen evaluation without introducing hidden requirements, BackendForge uses a test agent and a code agent to co-evolve the test oracle and reference service, where the test agent proposes specification-grounded backend tests and the code agent repairs the reference implementation. Although the best-performing model, GPT-5.5, succeeds on 55.4\% of tasks under the base oracle, it succeeds on only 28.6\% under the final oracle. This gap suggests that current LLMs can implement many local API behaviors, but still struggle to produce complete backend services.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、ファイルのインスペクション、コマンドの実行、テストの実行、障害の観察、コードの反復的な修正など、エージェント的なコーディング設定での利用が増えている。
エージェントLDMは、実行時にデプロイ可能で行動的に正しいエンドツーエンドのソフトウェアアーティファクトを生成することができるか?
バックエンドサービスは、この評価のために制御されているが現実的な基盤を提供する。
これらのAPIはアプリケーションレベルの実行可能なセマンティクスを公開しており、デプロイされた振る舞いはブラックボックスのHTTPインタラクションを通じてOpenAPI契約に対して決定的にチェックすることができる。
56のコントラクト定義バックエンド生成タスクのベンチマークであるBackendForgeを紹介します。
可視的な仕様とOpenAPI契約を前提として、LLMは、HTTPテストのみを使用して構築、デプロイ、評価されるDocker化されたサービスを生成する必要がある。
隠れた要件を導入することなく評価を強化するため、BackendForgeはテストエージェントとコードエージェントを使用して、テストオラクルと参照サービスを共同開発する。
最も優れたモデルであるGPT-5.5は、基本オラクルの下で55.4\%のタスクで成功するが、最終オラクルでは28.6\%でしか成功しない。
このギャップは、現在のLLMが多くのローカルAPI動作を実装することができるが、完全なバックエンドサービスを生成するのに苦労していることを示唆している。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Multi-Agent LLM-based Metamorphic Testing for REST APIs [1.7616042687330637]
LLMベースのマルチエージェントワークフローを使用して、REST APIのメタモルフィックテストをサポートするツールサポートのアプローチであるARMetaを紹介します。
RESTインターフェースを公開する2つの公開Webアプリケーション上でARMetaを評価し、そのパフォーマンスをシナリオベースのテストベースラインと比較する。
論文 参考訳（メタデータ） (2026-05-27T11:24:46Z) - CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation [49.30536937161147]
本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。
CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。
リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
論文 参考訳（メタデータ） (2026-04-14T04:31:45Z) - AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering [3.2126925586839623]
第一級原理として実行基盤検証を導入する。
我々はこの原理をマルチエージェントフレームワークである AgentFORGE でインスタンス化する。
AgentFORGEtokenはSWE-BENCH Lite上で40.0%の解像度を達成する。
論文 参考訳（メタデータ） (2026-04-13T13:51:13Z) - Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation [0.0]
Agent-Diffは、エージェント言語モデル(LLM)を、外部API経由でコードを実行する現実世界のタスクで評価するためのベンチマークフレームワークである。
エンタープライズソフトウェアを利用する224のタスクにまたがる9つのLLMのベンチマークを提供する。
また、ベンチマークパフォーマンスにおけるAPIドキュメントへのアクセスの寄与を評価するために、アブレーション実験によるフレームワークの堅牢性を評価する。
論文 参考訳（メタデータ） (2026-02-11T13:31:18Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - From Specification to Service: Accelerating API-First Development Using Multi-Agent Systems [2.2805184653738175]
本稿では,Large Language Models (LLM) ベースのエージェントを用いて,サーバコードのAPIファースト開発を自動化するシステムを提案する。
このシステムはOpenAPI仕様の作成を支援し、そこからコードを生成し、実行ログとエラーメッセージを分析するフィードバックループを通じてコードを洗練する。
論文 参考訳（メタデータ） (2025-10-22T06:22:36Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳（メタデータ） (2024-11-11T16:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。