論文の概要: A meta-analysis of the effect of generative AI on productivity and learning in programming
- arxiv url: http://arxiv.org/abs/2605.04779v1
- Date: Wed, 06 May 2026 11:32:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.794424
- Title: A meta-analysis of the effect of generative AI on productivity and learning in programming
- Title（参考訳）: プログラミングの生産性と学習に及ぼす生成AIの効果のメタ分析
- Abstract要約: 生成人工知能(GenAI)はプログラミングにますます使われている。
GenAIがプログラミングスキルの長期的な開発に与える影響の証拠も同様に混ざり合っている。
- 参考スコア（独自算出の注目度）: 29.833165125048893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative artificial intelligence (GenAI) is increasingly used for programming, yet it remains unclear when and where GenAI tools lead to productivity gains. Evidence on the effects of GenAI on the long-term development of programming skills is similarly mixed. Here, we present a meta-analysis of $n = 23$ studies reporting $k = 27$ effect sizes to quantify the effect of GenAI-powered coding assistants on productivity and learning. We systematically searched (i) ACM, (ii) arXiv, (iii) Scopus, and (iv) Web of Science for studies published between 2019 and 2025. Studies were required to compare GenAI-assisted with unassisted programming using quantitative measures of (1) productivity (i.e., task completion time, commits, and lines of code) and (2) learning (i.e., exam performance). We assessed the risk of bias using RoB2 and ROBINS-I and compared standardized effect sizes using Hedges' $g$. We find a statistically significant, but moderate positive effect of GenAI assistance on developer productivity ($g = 0.33$, $95\%$ CI: $[0.09, 0.58]$), yet with substantial heterogeneity across settings. Notably, productivity gains tend to be larger in controlled experimental settings, while effects are smaller in open-source and enterprise contexts. In contrast, we find no statistically significant effect of GenAI assistance on learning outcomes ($g = 0.14$, $95\%$ CI: $[-0.18, 0.47]$). Overall, these results highlight that GenAI coding assistants can increase developer productivity, although these gains depend strongly on context. In educational settings, however, the use of GenAI does not consistently translate into improved learning or skill development, which highlights the need for careful integration of GenAI into computer science education.
- Abstract（参考訳）: ジェネレーティブ人工知能(GenAI)はプログラミングにますます使われているが、いつ、どこでGenAIツールが生産性の向上につながるのかは不明だ。
GenAIがプログラミングスキルの長期的な開発に与える影響の証拠も同様に混ざり合っている。
ここでは、GenAIを利用したコーディングアシスタントが生産性と学習に与える影響を定量化するために、$k = 27$効果サイズを報告した$n = 23$研究のメタ分析を示す。
私たちは体系的に検索した
(i)ACM
(ii)arXiv
(三)スコプス、及び
(4)2019年から2025年にかけて発行された研究のためのウェブ・オブ・サイエンス。
本研究は,(1)生産性(タスク完了時間,コミット,コード行数)と(2)学習(試験性能)の定量的尺度を用いて,非支援型プログラミングのGenAI支援を比較検討することが必要であった。
我々は,RoB2とROBINS-Iを用いてバイアスのリスクを評価し,Hedgesの$g$を用いて標準効果サイズを比較した。
GenAIアシストが開発者の生産性に統計的に有意だが適度な効果(g = 0.33$, 9,5\%$ CI: $[0.09, 0.58]$)があることに気付きました。
特に、コントロールされた実験環境では生産性が向上する傾向があり、オープンソースやエンタープライズ環境では効果が小さくなる。
対照的に、GenAIアシストが学習結果に統計的に有意な影響を及ぼすことはない(g = 0.14$, 9,5\%$ CI: $[-0.18, 0.47]$)。
全体として、これらの結果はGenAIのコーディングアシスタントが開発者の生産性を向上できることを示している。
しかし、教育環境では、GenAIの使用は一貫して学習やスキル開発の改善に結びついておらず、コンピュータサイエンス教育へのGenAIの注意深く統合の必要性が浮き彫りになっている。
関連論文リスト
- Quick Build, Careful Check? Generative AI Use in Hackathons [83.0493885475068]
中央ヨーロッパにおけるAIをテーマとしたハッカソンの参加者を対象とした探索的なインタビュー研究を報告する。
参加者はコーディング以外の目的でGenAIを使用して,馴染みのないトピックの学習やブレインストーミング,ドキュメントの作成などを行いました。
また、すべての参加者が、使用前にGenAI出力をチェックするという書面のないプラクティスに集約されていることもわかりました。
論文 参考訳（メタデータ） (2026-07-31T08:59:18Z) - Is Solving Better Than Evaluating GenAI Solutions? [45.714140455691485]
本研究では,GenAIが生成する解を,中等レベルのアルゴリズムコースで従来の問題解決法と比較する。
調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。
学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の利得に変換されなかった。
論文 参考訳（メタデータ） (2026-07-30T02:08:29Z) - Patterns of Learner-AI Interaction and Academic Performance in an Object-Oriented Programming Course [0.0]
本研究では、オブジェクト指向プログラミング(OOP)コースにおける学習結果と学習者とAIの相互作用形態の違いについて検討する。
初年度のOOPコースに入学した210人の大学生を対象に,調査データを収集した。
論文 参考訳（メタデータ） (2026-05-26T07:48:00Z) - Impacts of Generative AI on Agile Teams' Productivity: A Multi-Case Longitudinal Study [5.9568322124195845]
生成人工知能(GenAI)ツールは、ソフトウェア工学におけるパラダイムシフトを表している。
この研究は、GenAIがアジャイルチームに与える影響の経年的評価を提供することを目的としている。
論文 参考訳（メタデータ） (2026-02-14T13:26:16Z) - Examining the Usage of Generative AI Models in Student Learning Activities for Software Programming [3.2383459424229835]
本研究では,GenAI支援が従来のオンラインリソースとどのように比較して,知識の獲得を支援するかを検討する。
プログラミング経験の異なる24人の大学生を対象に,制御されたユーザ実験を行った。
以上の結果から,GenAIによる完全解の生成は,特に初心者のタスク性能を著しく向上させるが,必ずしも知識の獲得には至らないことが明らかとなった。
論文 参考訳（メタデータ） (2025-11-17T11:42:24Z) - Developer Productivity with GenAI [17.44738403505224]
我々は415人のソフトウェア実践者がAI支援開発に伴う生産性の変化に対する認識を把握できるように調査した。
結果として、生産性の変化が制限され、生産性のパラドックスが強調され、開発者がより速くなっていくが、必ずしもより良いソフトウェアを作成したり、より満足できると感じたりはしない。
論文 参考訳（メタデータ） (2025-10-28T10:23:57Z) - Encouraging Students' Responsible Use of GenAI in Software Engineering Education: A Causal Model and Two Institutional Applications [0.4306143768014156]
ジェネレーティブAI(GenAI)ツールが教育で普及するにつれ、学生が学習よりも学習に使用することへの懸念が高まっている。
本稿では、ソフトウェア工学(SE)教育におけるGenAI利用に責任を持つ教育者を支援するために、因果モデルを提案し、実証的に適用する。
論文 参考訳（メタデータ） (2025-05-31T19:27:40Z) - From Recall to Reasoning: Automated Question Generation for Deeper Math Learning through Large Language Models [44.99833362998488]
先進数学のためのコンテンツ生成を最適化する第1ステップについて検討した。
我々は、GenAIがコース内容に関連する高品質な実践問題を生み出す能力について検討した。
論文 参考訳（メタデータ） (2025-05-17T08:30:10Z) - Generative Artificial Intelligence-Supported Pentesting: A Comparison between Claude Opus, GPT-4, and Copilot [42.558423984270135]
GenAIは多くの分野に適用でき、特にサイバーセキュリティに関連がある。
本稿では,ジェネリック汎用のGenAIツールの可能性について分析した。
Opus, GPT-4 from ChatGPT, and Copilot-in augmenting the peretration testing process as defined by the Peretration Testing Execution Standard (PTES)
論文 参考訳（メタデータ） (2025-01-12T22:48:37Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳（メタデータ） (2024-03-20T13:37:00Z) - Investigating Explainability of Generative AI for Code through
Scenario-based Design [44.44517254181818]
生成AI(GenAI)技術は成熟し、ソフトウェア工学のようなアプリケーションドメインに適用されています。
私たちは43人のソフトウェアエンジニアと9つのワークショップを開催しました。そこでは、最先端のジェネレーティブAIモデルの実例を使って、ユーザの説明可能性のニーズを導き出しました。
我々の研究は、GenAIのコードに対する説明可能性の必要性を探求し、新しいドメインにおけるXAIの技術開発を人間中心のアプローチがいかに促進するかを実証する。
論文 参考訳（メタデータ） (2022-02-10T08:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。