論文の概要: How much does AI impact development speed? An enterprise-based randomized controlled trial

• arxiv url: http://arxiv.org/abs/2410.12944v3
• Date: Mon, 11 Nov 2024 13:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:40.548125
• Title: How much does AI impact development speed? An enterprise-based randomized controlled trial
• Title（参考訳）: AIは開発速度にどの程度影響するか? エンタープライズベースのランダム化制御試験
• Authors: Elise Paradis, Kate Grey, Quinn Madison, Daye Nam, Andrew Macvean, Vahid Meimand, Nan Zhang, Ben Ferrari-Church, Satish Chandra,
• Abstract要約: 複雑なエンタープライズレベルのタスクに開発者が費やす時間に対する3つのAI機能の影響を見積もる。 また、コード関連のアクティビティに1日あたり何時間も費やす開発者は、AIがより速くなるという興味深い効果も見出しました。
• 参考スコア（独自算出の注目度）: 8.759453531975668
• License:
• Abstract: How much does AI assistance impact developer productivity? To date, the software engineering literature has provided a range of answers, targeting a diversity of outcomes: from perceived productivity to speed on task and developer throughput. Our randomized controlled trial with 96 full-time Google software engineers contributes to this literature by sharing an estimate of the impact of three AI features on the time developers spent on a complex, enterprise-grade task. We found that AI significantly shortened the time developers spent on task. Our best estimate of the size of this effect, controlling for factors known to influence developer time on task, stands at about 21\%, although our confidence interval is large. We also found an interesting effect whereby developers who spend more hours on code-related activities per day were faster with AI. Product and future research considerations are discussed. In particular, we invite further research that explores the impact of AI at the ecosystem level and across multiple suites of AI-enhanced tools, since we cannot assume that the effect size obtained in our lab study will necessarily apply more broadly, or that the effect of AI found using internal Google tooling in the summer of 2024 will translate across tools and over time.
• Abstract（参考訳）: AIアシストは開発者の生産性にどの程度影響しますか? これまで、ソフトウェアエンジニアリングの文献は、生産性の認識からタスクのスピード、開発者のスループットまで、さまざまな結果をターゲットにした、さまざまな回答を提供してきました。 96人のフルタイムのGoogleソフトウェアエンジニアによるランダム化コントロールトライアルは、開発者が複雑なエンタープライズレベルのタスクに費やす時間に対する3つのAI機能の影響を見積もることで、この文献に貢献しています。 開発者がタスクに費やす時間をAIが大幅に短縮したことが分かりました。 この効果の大きさを最もよく見積もっているのは、タスクの開発者時間に影響を与える要因をコントロールし、信頼区間は大きいが、約21倍である。 また、コード関連のアクティビティに1日あたり何時間も費やす開発者は、AIがより速くなるという興味深い効果も見出しました。 製品と将来の研究について論じる。 特に、我々の研究室で得られた効果の大きさが必ずしもより広く適用されるとは考えず、2024年の夏に社内のGoogleツールを使って発見されたAIの効果が、ツールや時間の経過とともに変換されると仮定できないため、AIがエコシステムレベルで、そして複数のAIツールにまたがる影響を探求するさらなる研究を招待する。

関連論文リスト

• Dear Diary: A randomized controlled trial of Generative AI coding tools in the workplace [2.5280615594444567]
  ジェネレーティブAIコーディングツールは比較的新しいもので、開発者への影響は従来のコーディングメトリクスを超えて拡大している。 本研究の目的は、生成型AIツールに関する既存の信念、自己認識、そしてこれらのツールの定期的な使用がこれらの信念をどう変えるかを明らかにすることである。 その結果,ジェネレーティブなAIコーディングツールの導入と持続的使用は,これらのツールが有用かつ楽しいものであるという開発者の認識を著しく高めていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-24T00:07:27Z)
• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• Does Co-Development with AI Assistants Lead to More Maintainable Code? A Registered Report [6.7428644467224]
  本研究は,AIアシスタントがソフトウェア保守性に与える影響を検討することを目的とする。 フェーズ1では、開発者はAIアシスタントの助けなしに、Javaプロジェクトに新しい機能を追加する。 ランダム化されたコントロールされた試行のフェーズ2では、さまざまな開発者がランダムフェーズ1プロジェクトを進化させ、AIアシスタントなしで作業する。
  論文  参考訳（メタデータ） (2024-08-20T11:48:42Z)
• Towards the Terminator Economy: Assessing Job Exposure to AI through LLMs [10.844598404826355]
  米国の雇用の3分の1はAIに強く依存している。 この露出は、2019年から2023年までの雇用と賃金の伸びと正の相関関係にある。
  論文  参考訳（メタデータ） (2024-07-27T08:14:18Z)
• Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
  ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。 10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。 これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-16T19:11:15Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• The Potential Impact of AI Innovations on U.S. Occupations [3.0829845709781725]
  私たちはDeep Learning Natural Language Processingを使って、大規模な作業に影響を及ぼす可能性のあるAI特許を特定します。 我々の方法論は、17,879のタスク記述の包括的なデータセットに依存し、AIの潜在的な影響を定量化する。 我々の結果は、いくつかの職業が潜在的に影響を受け、その影響は特定のスキルに複雑に結びついていることを示している。
  論文  参考訳（メタデータ） (2023-12-07T21:44:07Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Artificial Intelligence in Software Testing : Impact, Problems, Challenges and Prospect [0.0]
  この研究は、テストにAIを適用しながら、ソフトウェアテスタが直面する最も大きな課題を認識し、説明することを目的としている。 この記事では、ソフトウェアテストの分野におけるAIの今後の重要な貢献についても提案する。
  論文  参考訳（メタデータ） (2022-01-14T10:21:51Z)
• AI Explainability 360: Impact and Design [120.95633114160688]
  2019年、私たちはAI Explainability 360(Arya et al. 2020)を開発しました。 本稿では,いくつかのケーススタディ,統計,コミュニティフィードバックを用いて,ツールキットが与える影響について検討する。 また,ツールキットのフレキシブルな設計,使用例,利用者が利用可能な教育資料や資料についても述べる。
  論文  参考訳（メタデータ） (2021-09-24T19:17:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。