論文の概要: Comparing the Quality of Code Generated by Vibe Coding Tools
- arxiv url: http://arxiv.org/abs/2608.16302v1
- Date: Mon, 17 Aug 2026 09:14:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.603066
- Title: Comparing the Quality of Code Generated by Vibe Coding Tools
- Title（参考訳）: バイブ符号化ツールによるコード品質の比較
- Abstract要約: 本研究では、広く採用されている3つのビブ符号化ツールによるコードの構造的品質を比較した。
ツールごとに3つの独立したプロジェクトを生成し、9つのWebアプリケーションを集計し、それらをSonarQubeで静的解析に送信します。
予備的な結果は、これらのツールが異なる質的プロファイルを示すことを示している。
- 参考スコア（独自算出の注目度）: 6.254624232861127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of AI agents for automatic code generation has become increasingly common in software development. However, concerns remain about the quality of the generated code, including aspects of maintainability, readability, and long-term evolution. This study compares the structural quality of code produced by three widely adopted vibe coding tools --- Lovable, v0, and Replit --- starting from a single generation prompt. We generate three independent projects per tool, totalling nine web applications, and submit them to static analysis with SonarQube. We collect metrics such as the number of issues, severity distribution, estimated remediation effort, cyclomatic and cognitive complexity, and code duplication. Preliminary results show that the tools exhibit distinct qualitative profiles: Lovable concentrates issues of lower severity but presents a substantially higher density of code smells per KLOC, while v0 and Replit produce more code with more aggressive severity profiles. These findings suggest that choosing between vibe coding tools involves structural trade-offs that go beyond perceived productivity.
- Abstract（参考訳）: 自動コード生成にAIエージェントを使用することは、ソフトウェア開発でますます一般的になっている。
しかしながら、メンテナンス性、可読性、長期的な進化といった側面を含む、生成されたコードの品質に関する懸念は残る。
本研究では、Lovable、v0、Replitの3つの広く採用されているビブコーディングツールが生成するコードの構造的品質を比較した。
ツールごとに3つの独立したプロジェクトを生成し、9つのWebアプリケーションを集計し、それらをSonarQubeで静的解析に送信します。
問題の数、深刻度分布、見積もりの修正作業、サイクロマティックと認知の複雑さ、コードの重複といったメトリクスを収集します。
Lovableはより深刻度の低い問題に集中するが、KLOCあたりのコードの臭いの密度はかなり高く、v0とReplitはより攻撃的な深刻度プロファイルを持つコードを生成する。
これらの結果は、バイブコーディングツールの選択には、認識される生産性を超える構造的なトレードオフが含まれることを示唆している。
関連論文リスト
- How AI Coders Discuss, Disagree, and Reach Consensus: Challenges and Opportunities for LLM-Based Qualitative Coding [5.271725890500162]
我々は、AIエージェントが独立してコードを作成し、議論し、意見の相違を和らげる文学インフォームドベースラインパイプラインを開発する。
その結果、符号化精度は、コードブックの長さ、定性的データ類似性、エージェントの不一致などの要因に依存することが明らかとなった。
弊社のオープンソースのAIディスカッションデータセットと方法論フレームワークは、AIを介する自動テーマ分析の設計を推進するための基礎を築いた。
論文 参考訳（メタデータ） (2026-09-10T05:34:47Z) - Beyond Quantity: Trajectory Diversity Scaling for Code Agents [51.71414642763219]
Trajectory Diversity Scalingは、コードエージェントのためのデータ合成フレームワークである。
TDScalingは、(1)実際のサービスの論理的依存関係をキャプチャするBusiness Clusterメカニズム、(2)軌道コヒーレンスを強制するブループリント駆動のマルチエージェントパラダイム、(3)ロングテールシナリオを指向する適応的な進化メカニズムの4つの革新を統合しています。
論文 参考訳（メタデータ） (2026-02-03T07:43:03Z) - A Causal Perspective on Measuring, Explaining and Mitigating Smells in LLM-Generated Code [49.09545217453401]
Propensity Smelly Score (PSC) は、特定の臭いの種類を生成する確率を推定する計量である。
我々は、生成戦略、モデルサイズ、モデルアーキテクチャ、および生成したコードの構造特性をいかに形成するかを識別する。
PSCは、開発者がモデルの振る舞いを解釈し、コード品質を評価するのに役立つ。
論文 参考訳（メタデータ） (2025-11-19T19:18:28Z) - Human-Written vs. AI-Generated Code: A Large-Scale Study of Defects, Vulnerabilities, and Complexity [4.478789600295493]
本稿では,人間の開発者と最先端のLLMであるChatGPT,DeepSeek-Coder,Qwen-Coderの3つのコードを比較した。
我々の評価は、PythonとJavaの2つの広く使われている言語で500万以上のコードサンプルにまたがっており、Orthogonal Defect ClassificationとCommon Weaknessionを使ったセキュリティ脆弱性によって欠陥を分類している。
AI生成コードは一般的にシンプルで、未使用のコンストラクトやハードコードになりがちであるのに対して、人間書きのコードはより構造的な複雑さを示し、保守性の問題の集中度が高い。
論文 参考訳（メタデータ） (2025-08-29T13:51:28Z) - CodeEvo: Interaction-Driven Synthesis of Code-centric Data through Hybrid and Iterative Feedback [21.627909324788597]
大規模言語モデルの訓練には高品質な命令コードペアの獲得が不可欠である。
2つのLLMエージェント間の反復的な相互作用を通じてコードデータを合成するフレームワークであるCodeEvoを提案する。
論文 参考訳（メタデータ） (2025-07-25T16:12:51Z) - CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval [44.39462689088926]
CoQuIRは、品質を意識したコード検索を評価するために設計された、最初の大規模多言語ベンチマークである。
CoQuIRは、11のプログラミング言語で42,725のクエリと134,907のコードスニペットに対して、きめ細かい品質のアノテーションを提供する。
論文 参考訳（メタデータ） (2025-05-31T13:00:17Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Is Compression Really Linear with Code Intelligence? [60.123628177110206]
textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。
我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。
私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
論文 参考訳（メタデータ） (2025-05-16T16:59:14Z) - Detecting Essence Code Clones via Information Theoretic Analysis [28.696542467142983]
コードのクローンには、時間の節約のためにコードの断片を複製するが、ソフトウェア保守性と品質を犠牲にすることが多い。
essence clones" はType-3クローンの複雑なサブタイプであり、周辺コードが異なるにもかかわらず重要なロジックを共有するのが特徴である。
伝統的なテクニックは、しばしばその構文的焦点のため、自然クローンを検出するのに失敗する。
本稿では,コード行の意味的重要性を評価するために情報理論を利用した新しい検出ツールECScanを紹介する。
論文 参考訳（メタデータ） (2025-02-26T15:23:40Z) - Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。
これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。
直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
論文 参考訳（メタデータ） (2025-02-11T01:12:11Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。