論文の概要: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
- arxiv url: http://arxiv.org/abs/2507.09089v2
- Date: Fri, 25 Jul 2025 00:43:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-28 14:14:27.288194
- Title: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
- Title（参考訳）: 2025年前半のAIがオープンソース開発者の生産性に及ぼす影響を測る
- Authors: Joel Becker, Nate Rush, Elizabeth Barnes, David Rein,
- Abstract要約: 広く採用されているにもかかわらず、ソフトウェア開発におけるAIツールの影響はいまだ検討されていない。
2025年2月から6月までのフロンティアにおけるAIツールが、経験豊富なオープンソース開発者の生産性にどのように影響するかを理解するために、ランダム化制御トライアル(RCT)を実施しています。
適度なAI経験を持つ16人の開発者が、平均5年間の経験を持つ成熟したプロジェクトで246のタスクを完了した。
- 参考スコア（独自算出の注目度）: 0.5789840336223054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite widespread adoption, the impact of AI tools on software development in the wild remains understudied. We conduct a randomized controlled trial (RCT) to understand how AI tools at the February-June 2025 frontier affect the productivity of experienced open-source developers. 16 developers with moderate AI experience complete 246 tasks in mature projects on which they have an average of 5 years of prior experience. Each task is randomly assigned to allow or disallow usage of early 2025 AI tools. When AI tools are allowed, developers primarily use Cursor Pro, a popular code editor, and Claude 3.5/3.7 Sonnet. Before starting tasks, developers forecast that allowing AI will reduce completion time by 24%. After completing the study, developers estimate that allowing AI reduced completion time by 20%. Surprisingly, we find that allowing AI actually increases completion time by 19%--AI tooling slowed developers down. This slowdown also contradicts predictions from experts in economics (39% shorter) and ML (38% shorter). To understand this result, we collect and evaluate evidence for 20 properties of our setting that a priori could contribute to the observed slowdown effect--for example, the size and quality standards of projects, or prior developer experience with AI tooling. Although the influence of experimental artifacts cannot be entirely ruled out, the robustness of the slowdown effect across our analyses suggests it is unlikely to primarily be a function of our experimental design.
- Abstract（参考訳）: 広く採用されているにもかかわらず、ソフトウェア開発におけるAIツールの影響はいまだ検討されていない。
2025年2月から6月までのフロンティアにおけるAIツールが、経験豊富なオープンソース開発者の生産性にどのように影響するかを理解するために、ランダム化制御トライアル(RCT)を実施しています。
適度なAI経験を持つ16人の開発者が、平均5年間の経験を持つ成熟したプロジェクトで246のタスクを完了した。
各タスクは、2025年初期のAIツールの使用を許可または許可するためにランダムに割り当てられる。
AIツールが許可されると、開発者は人気のあるコードエディタであるCursor ProとClaude 3.5/3.7 Sonnetを使用する。
タスクを開始する前に、AIを許可することで完了時間を24%短縮する、と予測されている。
研究の完了後、開発者はAIを許可することで完了までの時間を20%短縮する、と見積もった。
意外なことに、AIツールの完成が実際に19%向上していることが、開発者を減速させた。この減速は、経済学の専門家による予測(39%が短い)とML(38%が短い)とも矛盾している。この結果を理解するために、私たちは、優先順位が観測されたスローダウン効果に寄与する可能性があるという設定の20の特性の証拠を収集し、評価する。例えば、プロジェクトのサイズと品質基準、あるいはAIツールを使った開発者エクスペリエンス。
実験成果物の影響は完全には排除できないが, 解析による速度低下効果の頑健性から, 主に実験設計の機能である可能性が示唆された。
関連論文リスト
- Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [66.1850490474361]
コーディングエージェントとの開発者インタラクションを探求する最初の学術的研究を行う。
私たちは、GitHub CopilotとOpenHandsの2つの主要なコピロとエージェントコーディングアシスタントを評価します。
この結果から、エージェントは、コピロトを超越した方法で開発者を支援する可能性を示唆している。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z) - SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam? [51.112225746095746]
本稿では,人間研究者をエミュレートするツール強化推論エージェントであるX-Masterを紹介する。
XマスターズはHumanity's Last Examに32.1%のスコアで最新記録を樹立した。
論文 参考訳（メタデータ） (2025-07-07T17:50:52Z) - Echoes of AI: Investigating the Downstream Effects of AI Assistants on Software Maintainability [5.677464428950146]
本研究では,AIアシスタントとの共同開発がソフトウェア保守性に与える影響について検討する。
フェーズ1でのAI支援開発は、その後の進化を緩やかなスピードアップに導いた。
習慣的AIユーザーの平均スピードアップは55.9%だった。
論文 参考訳（メタデータ） (2025-07-01T14:24:37Z) - How do Copilot Suggestions Impact Developers' Frustration and Productivity? [12.302518927205103]
本稿では,自動提案がフラストレーションと生産性に与える影響について2つの理論を提案する。
専門家も初心者も、少なくとも32人の開発者を巻き込みます。
論文 参考訳（メタデータ） (2025-04-09T11:55:22Z) - From Teacher to Colleague: How Coding Experience Shapes Developer Perceptions of AI Tools [0.0]
AI支援の開発ツールは生産性の向上とコード品質の向上を約束するが、開発者による採用は相容れない。
我々は、3380人の開発者による調査データを分析し、コーディングエクスペリエンスがAIの認識、採用、開発者がワークフローでAIに割り当てる役割にどのように関係しているかを調べます。
論文 参考訳（メタデータ） (2025-04-08T08:58:06Z) - How much does AI impact development speed? An enterprise-based randomized controlled trial [8.759453531975668]
複雑なエンタープライズレベルのタスクに開発者が費やす時間に対する3つのAI機能の影響を見積もる。
また、コード関連のアクティビティに1日あたり何時間も費やす開発者は、AIがより速くなるという興味深い効果も見出しました。
論文 参考訳（メタデータ） (2024-10-16T18:31:14Z) - Does Co-Development with AI Assistants Lead to More Maintainable Code? A Registered Report [6.7428644467224]
本研究は,AIアシスタントがソフトウェア保守性に与える影響を検討することを目的とする。
フェーズ1では、開発者はAIアシスタントの助けなしに、Javaプロジェクトに新しい機能を追加する。
ランダム化されたコントロールされた試行のフェーズ2では、さまざまな開発者がランダムフェーズ1プロジェクトを進化させ、AIアシスタントなしで作業する。
論文 参考訳（メタデータ） (2024-08-20T11:48:42Z) - Consent in Crisis: The Rapid Decline of the AI Data Commons [74.68176012363253]
汎用人工知能(AI)システムは、大量の公開Webデータに基づいて構築されている。
我々は,AIトレーニングコーパスに基づくWebドメインに対する同意プロトコルの大規模かつ長期的監査を行う。
論文 参考訳（メタデータ） (2024-07-20T16:50:18Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。