論文の概要: SWE-WebDevBench: Evaluating Coding Agent Application Platforms as Virtual Software Agencies
- arxiv url: http://arxiv.org/abs/2605.04637v1
- Date: Wed, 06 May 2026 08:30:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.724649
- Title: SWE-WebDevBench: Evaluating Coding Agent Application Platforms as Virtual Software Agencies
- Title（参考訳）: SWE-WebDevBench: コーディングエージェントアプリケーションプラットフォームを仮想ソフトウェアとして評価する
- Abstract要約: SWE-WebDev Benchは、7つのグループにわたる25のプライマリと43の診断メトリクスにまたがる68のメトリクス評価フレームワークである。
我々の評価では、現在の世代のAIアプリビルダーにおいて、繰り返し発生する4つの欠点が明らかになっている。
- 参考スコア（独自算出の注目度）: 0.764671395172401
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The emergence of "vibe coding" platforms, where users describe applications in natural language and AI agents autonomously generate full-stack software, has created a need for rigorous evaluation beyond code-level benchmarks. In order to assess them as virtual software development agencies on understanding business requirements, making architectural decisions, writing production code, handling iterative modifications, and maintaining business readiness, we introduce SWE-WebDev Bench, a 68-metric evaluation framework spanning 25 primary and 43 diagnostic metrics across seven groups, organized along three dimensions: Interaction Mode (App Creation Request (ACR) vs. App Modification Request (AMR)), Agency Angle (Product Manager (PM), Engineering, Ops), and Complexity Tier (T4 multi-role SaaS, T5 AI-native). Our evaluation (six platforms, three domains, 18 evaluation cells) reveals four recurring shortcomings in the current generation of AI app builders: (1) A specification bottleneck, where platforms compress rich business requirements into oversimplified technical plans, (2) A pervasive frontend-backend decoupling, where visually polished UIs mask absent or broken backend infrastructure, (3) A steep production-readiness cliff, where no platform scores above 60% on engineering quality and post-generation human effort varies substantially across platforms and (4) Widespread security and infrastructure failures, with no platform exceeding 65% Security Score against a 90% target and concurrency handling as low as 6%. These observations are descriptive of our sample and require larger-scale replication to establish generality. We release SWE-WebDev Bench as a community benchmark to enable such replication and help platform builders identify and address these gaps. Code and benchmark resources are available at: https://github.com/snowmountainAi/webdevbench and https://webdevbench.com/.
- Abstract（参考訳）: 自然言語とAIエージェントが自律的にフルスタックソフトウェアを生成する"ビブコーディング"プラットフォームの出現は、コードレベルのベンチマークを超えた厳密な評価の必要性を生み出した。
SWE-WebDev Bench氏は、ビジネス要件を理解し、アーキテクチャ上の決定を行い、生産コードを書き、反復的な修正を扱い、ビジネスの可読性を維持するための仮想ソフトウェア開発エージェンシーとして評価するために、7つのグループにまたがる25のプライマリと43の診断メトリクスを対象とする68のメトリクス評価フレームワークを紹介します。
1) プラットフォームがリッチなビジネス要件を過度に単純化した技術的計画に圧縮する、(2) 視覚的に洗練されたUIが欠如または壊れたバックエンドインフラストラクチャをマスクする、広範囲に分散したフロントエンドバックエンドの疎結合、(3) エンジニアリングの品質とポストジェネレーションの取り組みに60%以上のプラットフォームがスコアを付けない、急激な生産準備段階の崖、(4) プラットフォーム間で幅広いセキュリティとインフラの障害、そして65%以上のプラットフォームに対するセキュリティスコア 6%以下のターゲットと並行処理に対するセキュリティスコア。
これらの観察は我々のサンプルを記述しており、一般性を確立するためにはより大規模な複製が必要である。
私たちはSWE-WebDev Benchをコミュニティベンチマークとしてリリースし、このようなレプリケーションを可能にし、プラットフォームビルダーがこれらのギャップを特定して対処できるようにします。
コードとベンチマークのリソースは、https://github.com/snowmountainAi/webdevbenchとhttps://webdevbench.com/で入手できる。
関連論文リスト
- From Prompt to Process: a Process Taxonomy and Comparative Assessment of Frameworks Supporting AI Software Development Agents [0.0]
AI機能をプロセスに変換する運用フレームワークに重点を置いています。
仕様駆動による完全な軽量な開発、エージェント駆動のアジャイル計画、エージェント上のコンテキストエンジニアリング、ワークツリーの分離とレビュー、レガシーシステムからの運用仕様の回復。
私たちの中心的な貢献は、仕様、コンテキスト、役割、実行、バリデーション、ポータビリティという6次元プロセスの分類です。
論文 参考訳（メタデータ） (2026-06-03T14:49:15Z) - SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code [0.6695324715259999]
クラウドコンピューティングにおけるインフラストラクチャ・アズ・コード(IaC)の構築は重要な課題である。
当社のベンチマークでは、AWS CDKのような命令型ツールを使用して、企業開発で一般的なインクリメンタルなコード編集を反映しています。
SWE-InfraBenchは、数十の現実世界IaCから得られた多様な評価データセットである。
論文 参考訳（メタデータ） (2026-06-03T12:48:53Z) - Mono2Sls: Automated Monolith-to-Serverless Migration via Multi-Stage Pipeline with Static Analysis [39.8879463570937]
モノリシックなWebバックエンドをデプロイ可能なAWS SAMアプリケーションに変換する自動化パイプラインであるMono2Slsを紹介します。
Mono2Slsは、手動修正なしで100%のデプロイメント成功を達成する。
また、エンドツーエンドの正確性は66.1%、APIカバレッジは98.7%に達した。
論文 参考訳（メタデータ） (2026-04-27T14:44:07Z) - Immersion in the GitHub Universe: Scaling Coding Agents to Mastery [60.359983359258955]
ScaleSWEは、高品質なSWEデータを大規模に構築するために設計された、自動化されたサンドボックス化されたマルチエージェントワークフローである。
このシステムは、環境設定、テスト生成、問題記述合成のための3つの特別なエージェントをコーディネートし、5200リポジトリにわたる600万のプルリクエストを処理する。
論文 参考訳（メタデータ） (2026-02-10T15:30:19Z) - SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications? [21.241252187534055]
SWE-Bench Mobileは、実運用iOSから派生した現実的なソフトウェアエンジニアリングタスクのコーディングエージェントを評価するためのベンチマークである。
孤立した問題やバグ修正に焦点を当てた既存のベンチマークとは異なり、SWE-Bench Mobileは産業開発における完全な複雑さを捉えている。
論文 参考訳（メタデータ） (2026-02-10T08:51:11Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。
SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。
SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
論文 参考訳（メタデータ） (2025-11-07T18:01:32Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z) - SOP-Bench: Complex Industrial SOPs for Evaluating LLM Agents [16.08820954102608]
大規模言語モデル(LLM)は、目覚ましい汎用推論と問題解決能力を示している。
LLMは、標準動作手順の厳格な遵守を要求する複雑な長期水平実行に苦慮している。
SOP-Benchは10の産業ドメインにわたる1,800以上のタスクのベンチマークである。
論文 参考訳（メタデータ） (2025-06-09T18:20:12Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。