論文の概要: Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI

• arxiv url: http://arxiv.org/abs/2603.20847v1
• Date: Sat, 21 Mar 2026 15:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.114653
• Title: Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI
• Title（参考訳）: AIコーディングツールにおけるエンジニアリングの落とし穴 - クロードコード、コーデックス、ジェミニCLIにおけるバグの実証的研究
• Authors: Ruixin Zhang, Wuyang Dai, Hung Viet Pham, Gias Uddin, Jinqiu Yang, Song Wang,
• Abstract要約: 本稿では,AI支援コーディングツール構築における工学的落とし穴の実証的研究について述べる。 私たちは、GitHub上の3つのAI支援コーディングツールのオープンソースリポジトリにある3,8K以上の公開報告されたバグを分析するために、オープンソースコーディング手法を採用しています。 結果から,これらのツールのバグの67%以上が機能に関連していることが判明した。
• 参考スコア（独自算出の注目度）: 14.169228579189989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid integration of Large Language Models (LLMs) into software development workflows has given rise to a new class of AI-assisted coding tools, such as Claude-Code, Codex, and Gemini CLIs. While promising significant productivity gains, the engineering process of building these tools, which sit at the complex intersection of traditional software engineering, AI system design, and human-computer interaction, is fraught with unique and poorly understood challenges. This paper presents the first empirical study of engineering pitfalls in building such tools, on a systematic, manual analysis of over 3.8K publicly reported bugs in the open-source repositories of three AI-assisted coding tools (i.e., Claude-Code, Codex, and Gemini CLIs) on GitHub. Specifically, we employ an open-coding methodology to manually examine the issue description, associated user discussions, and developer responses. Through this process, we categorize each bug along multiple dimensions, including bug type, bug location, root cause, and observed symptoms. This fine-grained annotation enables us to characterize common failure patterns and identify recurring engineering challenges. Our results show that more than 67% of the bugs in these tools are related to functionality. In terms of root causes, 36.9% of the bugs stem from API, integration, or configuration errors. Consequently, the most commonly observed symptoms reported by users are API errors (18.3%), terminal problems (14%), and command failures (12.7%). These bugs predominantly affect the tool invocation (37.2%) and command execution (24.7%) stages of the system workflow. Collectively, our findings provide a critical roadmap for developers seeking to design the next generation of reliable and robust AI coding assistants.
• Abstract（参考訳）: ソフトウェア開発ワークフローへのLLM(Large Language Models)の迅速な統合により、Claude-Code、Codex、Gemini CLIsといったAI支援コーディングツールが新たに登場した。 有望な生産性向上を約束する一方で、従来のソフトウェアエンジニアリング、AIシステム設計、人間とコンピュータのインタラクションの複雑な交差点に位置するこれらのツールを構築するエンジニアリングプロセスには、ユニークで理解されていない課題が伴っている。 本稿は、GitHub上の3つのAI支援コーディングツール(Claude-Code、Codex、Gemini CLIsなど)のオープンソースリポジトリにおける3.8万以上のバグを、システマティックかつ手動で報告した、そのようなツール構築におけるエンジニアリングの落とし穴に関する最初の実証的研究である。 具体的には,問題記述,関連するユーザディスカッション,開発者対応を手作業で検証するために,オープンコーディング手法を用いる。 このプロセスを通じて、バグタイプ、バグ位置、根本原因、観察された症状など、各バグを複数の次元に沿って分類する。 この微粒なアノテーションは、一般的な障害パターンを特徴づけ、繰り返し発生するエンジニアリングの課題を特定するのに役立ちます。 結果から,これらのツールのバグの67%以上が機能に関連していることが判明した。 根本原因に関しては、36.9%のバグはAPI、統合、設定エラーに起因する。 その結果、最も一般的に報告される症状はAPIエラー(18.3%)、端末問題(14%)、コマンドエラー(12.7%)である。 これらのバグは、主にツールの実行(37.2%)とシステムワークフローのコマンド実行(24.7%)に影響を及ぼす。 まとめると、私たちの発見は、次世代の信頼性と堅牢なAIコーディングアシスタントを設計しようとする開発者にとって重要なロードマップを提供する。

関連論文リスト

• BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
  高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-10-22T17:58:56Z)
• BugScope: Learn to Find Bugs Like Human [9.05553442116139]
  BugScopeは、人間の監査人が代表例から新しいバグパターンを学習し、コード監査中にその知識を適用する方法をエミュレートする。 BugScopeが87.04%の精度を達成したことを示す。 Linuxカーネルを含む大規模なオープンソースシステムのさらなるテストにより、これまで不明だった141のバグが明らかになった。
  論文  参考訳（メタデータ） (2025-07-21T14:34:01Z)
• Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios [31.749442120603774]
  問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。 私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
  論文  参考訳（メタデータ） (2025-03-16T06:24:51Z)
• Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
  本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
  論文  参考訳（メタデータ） (2024-06-11T09:21:50Z)
• Prompting Is All You Need: Automated Android Bug Replay with Large Language Models [28.69675481931385]
  本稿では,バグ報告から迅速なエンジニアリングを通じてバグを自動的に再現する,新しい軽量なアプローチであるAdbGPTを提案する。 AdbGPTは、LLMから人間の知識と論理的推論を引き出すために、少数ショットの学習と連鎖推論を活用する。 この評価は,253.6秒で81.3%のバグレポートを再現するAdbGPTの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2023-06-03T03:03:52Z)
• The GitHub Development Workflow Automation Ecosystems [47.818229204130596]
  大規模なソフトウェア開発は、非常に協力的な取り組みになっています。 この章では、開発ボットとGitHub Actionsのエコシステムについて解説する。 この領域における最先端技術に関する広範な調査を提供する。
  論文  参考訳（メタデータ） (2023-05-08T15:24:23Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• ADPTriage: Approximate Dynamic Programming for Bug Triage [0.0]
  オンラインバグトリアージタスクのためのマルコフ決定プロセス(MDP)モデルを開発した。 私たちはADPTriageと呼ばれるADPベースのバグトリアージソリューションを提供しています。 以上の結果から, 代入精度と固定時間の観点から, ミオピックアプローチよりも有意な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-02T04:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。