論文の概要: Beyond Functional Correctness: Design Issues in AI IDE-Generated Large-Scale Projects

• arxiv url: http://arxiv.org/abs/2604.06373v1
• Date: Tue, 07 Apr 2026 18:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.190547
• Title: Beyond Functional Correctness: Design Issues in AI IDE-Generated Large-Scale Projects
• Title（参考訳）: 機能的正確性を超えて - AI IDEで生成された大規模プロジェクトにおける設計上の問題
• Authors: Syed Mohammad Kashif, Ruiyin Li, Peng Liang, Amjed Tahir, Qiong Feng, Zengyang Li, Mojtaba Shahin,
• Abstract要約: その結果,Cursorは16,965 LoC ファイルと114 ファイルに対して,機能的な大規模プロジェクトを生成することができることがわかった。 生成したプロジェクトには、長期的な保守性と進化可能性のリスクを引き起こす可能性のある設計上の問題が含まれています。
• 参考スコア（独自算出の注目度）: 5.428703898705396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New generation of AI coding tools, including AI-powered IDEs equipped with agentic capabilities, can generate code within the context of the project. These AI IDEs are increasingly perceived as capable of producing project-level code at scale. However, there is limited empirical evidence on the extent to which they can generate large-scale software systems and what design issues such systems may exhibit. To address this gap, we conducted a study to explore the capability of Cursor in generating large-scale projects and to evaluate the design quality of projects generated by Cursor. First, we propose a Feature-Driven Human-In-The-Loop (FD-HITL) framework that systematically guides project generation from curated project descriptions. We generated 10 projects using Cursor with the FD-HITL framework across three application domains and multiple technologies. We assessed the functional correctness of these projects through manual evaluation, obtaining an average functional correctness score of 91%. Next, we analyzed the generated projects using two static analysis tools, CodeScene and SonarQube, to detect design issues. We identified 1,305 design issues categorized into 9 categories by CodeScene and 3,193 issues in 11 categories by SonarQube. Our findings show that (1) when used with the FD-HITL framework, Cursor can generate functional large-scale projects averaging 16,965 LoC and 114 files; (2) the generated projects nevertheless contain design issues that may pose long-term maintainability and evolvability risks, requiring careful review by experienced developers; (3) the most prevalent issues include Code Duplication, high Code Complexity, Large Methods, Framework Best-Practice Violations, Exception-Handling Issues and Accessibility Issues; (4) these design issues violate design principles such as SRP, SoC, and DRY. The replication package is at https://github.com/Kashifraz/DIinAGP
• Abstract（参考訳）: エージェント機能を備えたAI駆動IDEを含む、新しい世代のAIコーディングツールは、プロジェクトのコンテキスト内でコードを生成することができる。 これらのAI IDEは、大規模にプロジェクトレベルのコードを生成することができると、ますます認識されている。 しかし、大規模なソフトウェアシステムの生成の程度や、そのようなシステムの設計上の問題点について、実証的な証拠は限られている。 このギャップに対処するため,我々はCursorの大規模プロジェクト生成能力の調査と,Cursorが生成するプロジェクトの設計品質の評価を行った。 まず,プロジェクト記述からプロジェクト生成を体系的にガイドする機能駆動型ヒューマン・イン・ザ・ループ(FD-HITL)フレームワークを提案する。 3つのアプリケーションドメインと複数の技術にわたるFD-HITLフレームワークでCursorを使って10のプロジェクトを生成しました。 これらのプロジェクトの機能的正当性を手作業による評価により評価し,機能的正当性スコアの平均91%を得た。 次に,CodeSceneとSonarQubeという2つの静的解析ツールを用いて生成したプロジェクトを分析し,設計上の問題を検出する。 CodeSceneでは1,305、SonarQubeでは11カテゴリで3,193に分類した。 その結果,(1)FD-HITLフレームワークを使用する場合,Cursorは16,965 LoCおよび114ファイルの平均的な大規模プロジェクトを生成することができる。(2) 生成したプロジェクトには,長期間の保守性と進化可能性リスクを生じる設計上の問題が含まれ,経験者による注意深いレビューを必要とする。(3) コードの重複,高コード複雑度,大規模メソッド,フレームワークのベストプラクティス違反,例外ハンド問題とアクセシビリティ問題,(4) これらの設計問題は,SRP, SoC, DRYなどの設計原則に違反している。 レプリケーションパッケージはhttps://github.com/Kashifraz/DIinAGPにある。

関連論文リスト

• ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
  ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。 概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。 エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
  論文  参考訳（メタデータ） (2026-02-02T05:17:23Z)
• Towards Realistic Project-Level Code Generation via Multi-Agent Collaboration and Semantic Architecture Modeling [7.753074942497876]
  CodeProjectEvalは、12.7ファイルと2,388.6行のタスクを持つ18の現実世界リポジトリから構築されたプロジェクトレベルのコード生成データセットである。 プロジェクトをアーキテクチャ設計、スケルトン生成、コードフィリングステージに分解するマルチエージェントフレームワークであるProjectGenを提案する。 実験によると、ProjectGenは、52/124のテストケースを小さなプロジェクトレベルのコード生成データセットDevBenchに渡すことで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-05T12:12:35Z)
• DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
  我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。 DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。 DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-01-12T06:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。