論文の概要: Benchmarking and Studying the LLM-based Agent System in End-to-End Software Development

• arxiv url: http://arxiv.org/abs/2511.04064v1
• Date: Thu, 06 Nov 2025 05:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.306762
• Title: Benchmarking and Studying the LLM-based Agent System in End-to-End Software Development
• Title（参考訳）: エンド・ツー・エンドソフトウェア開発におけるLCMエージェントシステムのベンチマークと検討
• Authors: Zhengran Zeng, Yixin Li, Rui Xie, Wei Ye, Shikun Zhang,
• Abstract要約: エンドツーエンドソフトウェア開発のためのLLMベースの自律エージェントの開発は、ソフトウェア工学における重要なパラダイムシフトである。 この作業はコミュニティに、より現実的なベンチマーク、包括的な評価フレームワーク、そしてソフトウェア開発エージェントの現在の能力とコア課題に対する重要な洞察を提供する。
• 参考スコア（独自算出の注目度）: 33.01897134024342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of LLM-based autonomous agents for end-to-end software development represents a significant paradigm shift in software engineering. However, the scientific evaluation of these systems is hampered by significant challenges, including overly simplistic benchmarks and the difficulty of conducting fair comparisons between different agent architectures due to confounding implementation variables. To address these limitations, we first construct a challenging and dynamically curated E2EDevBench to simulate realistic development scenarios. Second, we propose a hybrid evaluation framework that combines test-case-based functional assessment with fine-grained, LLM-based requirement verification. Using this framework, we conduct a controlled empirical study on three representative agent architectures implemented upon a unified foundation to isolate the impact of workflow design. Our findings reveal that state-of-the-art agents can fulfill approximately 50\% of requirements on \bench{}, but their success is critically dependent on the architectural strategy for task decomposition and collaboration. Furthermore, our analysis indicates that the primary bottleneck is the omission of requirements and inadequate self-verification. This work provides the community with a more realistic benchmark, a comprehensive evaluation framework, and crucial insights into the current capabilities and core challenges of software development agents, guiding future research toward enhancing requirement comprehension and planning.
• Abstract（参考訳）: エンドツーエンドソフトウェア開発のためのLLMベースの自律エージェントの開発は、ソフトウェア工学における重要なパラダイムシフトである。 しかし、これらのシステムの科学的評価は、過度に単純化されたベンチマークや、実装変数の相違による異なるエージェントアーキテクチャ間の公正な比較の難しさなど、重大な課題によって妨げられている。 これらの制限に対処するために、我々はまず、現実的な開発シナリオをシミュレートするために、困難で動的にキュレートされたE2EDevBenchを構築します。 第2に,テストケースに基づく機能評価と詳細なLCMに基づく要件検証を組み合わせたハイブリッド評価フレームワークを提案する。 このフレームワークを用いて、ワークフロー設計の影響を分離する統合基盤上に実装された3つの代表エージェントアーキテクチャについて、制御された実証的研究を行う。 以上の結果から,最先端のエージェントは \bench{} の要件の約50%を満たせるが,その成功はタスクの分解と協調のアーキテクチャ戦略に大きく依存していることがわかった。 さらに,本分析は,要求の欠落と自己検証の不十分が主なボトルネックであることを示唆している。 この作業はコミュニティに、より現実的なベンチマーク、包括的な評価フレームワーク、そしてソフトウェア開発エージェントの現在の能力とコア課題に対する重要な洞察を提供し、要件の理解と計画を強化するための将来の研究を導く。

関連論文リスト

• A Survey of Vibe Coding with Large Language Models [93.88284590533242]
  視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。 変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。 この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
  論文  参考訳（メタデータ） (2025-10-14T11:26:56Z)
• A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
  この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。 本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
  論文  参考訳（メタデータ） (2025-10-10T06:56:50Z)
• Agentic AI Reasoning for Mobile Edge General Intelligence: Fundamentals, Approaches, and Directions [74.35421055079655]
  大規模言語モデル(LLM)は、強力な推論と自律的な意思決定能力を備えたエージェント人工知能(AI)の出現を可能にした。 Mobile Edge General Intelligence (MEGI)は、リアルタイムでプライバシ保護の推論をネットワークエッジにもたらす。 本稿では,MEGIにおけるLLM推論の効率的な展開のための共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:53:48Z)
• Unifying Language Agent Algorithms with Graph-based Orchestration Engine for Reproducible Agent Research [32.92036657863354]
  大規模言語モデル(LLM)を利用した言語エージェントは、複雑なタスクの理解、推論、実行において顕著な能力を示した。 しかし、堅牢なエージェントの開発には、相当なエンジニアリングオーバーヘッド、標準化されたコンポーネントの欠如、公正な比較のための十分な評価フレームワークなど、大きな課題がある。 我々はこれらの課題に対処するフレキシブルで抽象的なフレームワークであるAGORA(Agent Graph-based Orchestration for Reasoning and Assessment)を紹介した。
  論文  参考訳（メタデータ） (2025-05-30T08:46:23Z)
• Assessing LLMs for Front-end Software Architecture Knowledge [0.0]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクの自動化において大きな可能性を証明している。 本研究では,VIPER アーキテクチャ内の構造を理解し,再現し,生成する LLM の機能について検討する。 実験の結果、ChatGPT 4 Turbo 2024-04-09 を用いて、LLM は評価や作成といった高次タスクに優れていたが、アーキテクチャの詳細の正確な検索を必要とする低次タスクでは課題に直面していたことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-26T19:33:35Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。