論文の概要: Comprehension-Performance Gap in GenAI-Assisted Brownfield Programming: A Replication and Extension

• arxiv url: http://arxiv.org/abs/2511.02922v1
• Date: Tue, 04 Nov 2025 19:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.212765
• Title: Comprehension-Performance Gap in GenAI-Assisted Brownfield Programming: A Replication and Extension
• Title（参考訳）: GenAIによるBrownfieldプログラミングにおける包括的パフォーマンスギャップの再現と拡張
• Authors: Yunhan Qiao, Christopher Hundhausen, Summit Haque, Md Istiak Hossain Shihab,
• Abstract要約: コード理解は、ブラウンフィールドプログラミングタスクに不可欠である。 GitHub CopilotのようなジェネレーティブAI(GenAI)コーディングアシスタントは、開発者の生産性を向上させることが示されている。 我々はGenAI支援のブラウンフィールドプログラミングにおける性能と理解の両面について検討する。
• 参考スコア（独自算出の注目度）: 0.41998444721319217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code comprehension is essential for brownfield programming tasks, in which developers maintain and enhance legacy code bases. Generative AI (GenAI) coding assistants such as GitHub Copilot have been shown to improve developer productivity, but their impact on code understanding is less clear. We replicate and extend a previous study by exploring both performance and comprehension in GenAI-assisted brownfield programming tasks. In a within-subjects experimental study, 18 computer science graduate students completed feature implementation tasks with and without Copilot. Results show that Copilot significantly reduced task time and increased the number of test cases passed. However, comprehension scores did not differ across conditions, revealing a comprehension-performance gap: participants passed more test cases with Copilot, but did not demonstrate greater understanding of the legacy codebase. Moreover, we failed to find a correlation between comprehension and task performance. These findings suggest that while GenAI tools can accelerate programming progress in a legacy codebase, such progress may come without an improved understanding of that codebase. We consider the implications of these findings for programming education and GenAI tool design.
• Abstract（参考訳）: コード理解は、レガシーコードベースをメンテナンスし、拡張するブラウンフィールドプログラミングタスクに不可欠である。 GitHub CopilotのようなジェネレーティブAI(GenAI)コーディングアシスタントは開発者の生産性を向上させることが示されているが、コード理解への影響は明らかになっていない。 我々は、GenAI支援のブラウンフィールドプログラミングタスクにおいて、パフォーマンスと理解の両方を探索することで、以前の研究を再現し、拡張する。 コンピュータサイエンスの大学院生18人が、Copilotと無関係に機能実装タスクを完了した。 その結果、Copilotはタスク時間を大幅に短縮し、合格したテストケースの数を増やした。 参加者はCopilotでより多くのテストケースをパスしたが、レガシーコードベースのより深い理解は示さなかった。 さらに,理解能力とタスク性能の相関関係は見つからなかった。 これらの結果は、GenAIツールがレガシーコードベースにおけるプログラミングの進歩を加速できる一方で、そのような進歩は、そのコードベースの理解が改善されていないことを示唆している。 本稿では,これらの知見がプログラミング教育やGenAIツール設計にもたらす意味について考察する。

関連論文リスト

• Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
  本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。 我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。 結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
  論文  参考訳（メタデータ） (2025-07-10T20:12:54Z)
• The Effects of GitHub Copilot on Computing Students' Programming Effectiveness, Efficiency, and Processes in Brownfield Programming Tasks [0.6282171844772422]
  GitHub Copilotは、ジェネレーティブ人工知能(GenAI)コーディングアシスタントである。 本稿では,GitHub Copilotが大学生のプログラミングパフォーマンス,行動,理解にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-06-11T16:18:53Z)
• From Developer Pairs to AI Copilots: A Comparative Study on Knowledge Transfer [8.567835367628787]
  AIコーディングアシスタントの台頭により、開発者は人間のパートナーだけでなく、AIペアプログラマーとも仕事をするようになる。 人・人・AI設定の知識伝達を解析するために,実験的検討を行った。 同様の頻度で知識伝達が成功し、両方の設定で話題カテゴリーが重複していることがわかりました。
  論文  参考訳（メタデータ） (2025-06-05T09:13:30Z)
• Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants [0.0]
  コード生成やバグ修正、最適化といったタスクには、大きな言語モデル(LLM)が不可欠になっています。 本稿では、ChatGPT、Codeium、GitHub Copilotの比較研究を行い、LeetCode問題におけるパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-09-30T03:53:40Z)
• The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers [1.995977018536036]
  初心者プログラマはメタ認知的認識と戦略の欠如により、しばしば問題解決に苦しむ。 多くの初心者がジェネレーティブAI(GenAI)を使ってプログラミングしている その結果, 加速した学生と苦労した学生の間には, GenAIツールの使用が不運な部分があることが判明した。
  論文  参考訳（メタデータ） (2024-05-28T01:48:28Z)
• Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
  コードインテリジェンスタスクにおける即時学習の有効性について検討する。 既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。 本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T13:37:00Z)
• CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
  セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。 汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。 特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T20:39:08Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Choose Your Programming Copilot: A Comparison of the Program Synthesis Performance of GitHub Copilot and Genetic Programming [2.2559617939136505]
  GitHub Copilotは、大規模な言語モデルであるCodexを利用したVisual Studio Code開発環境の拡張である。 本稿では,GitHub Copilotを標準プログラム合成ベンチマーク問題で評価し,得られた結果と遺伝プログラミング文献との比較を行う。 ベンチマーク問題に対する2つのアプローチのパフォーマンスはよく似ているが、GitHub Copilotと比較すると、遺伝的プログラミングに基づくプログラム合成アプローチはまだ十分に成熟していない。
  論文  参考訳（メタデータ） (2021-11-15T16:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。