論文の概要: The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment
- arxiv url: http://arxiv.org/abs/2402.05636v2
- Date: Wed, 17 Apr 2024 12:14:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 19:01:11.463148
- Title: The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment
- Title（参考訳）: ANZ銀行におけるAIツールのエンジニアリングへの影響 : 企業環境におけるGitHubコパイロットに関する実証的研究
- Authors: Sayan Chatterjee, Ching Louis Liu, Gareth Rowland, Tim Hogarth,
- Abstract要約: 本研究では,大規模組織におけるソフトウェアエンジニアリングプラクティスにおけるAIツールの統合について検討する。
私たちは、ソフトウェア開発ライフサイクルのすべての側面をカバーする5000人以上のエンジニアを雇用するANZ Bankに重点を置いています。
本稿では、実世界のエンジニアリングタスクにおけるその有効性を評価するために、制御された環境内で、注目すべきAIツールであるGitHub Copilotを使用して実施された実験について詳述する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The increasing popularity of AI, particularly Large Language Models (LLMs), has significantly impacted various domains, including Software Engineering. This study explores the integration of AI tools in software engineering practices within a large organization. We focus on ANZ Bank, which employs over 5000 engineers covering all aspects of the software development life cycle. This paper details an experiment conducted using GitHub Copilot, a notable AI tool, within a controlled environment to evaluate its effectiveness in real-world engineering tasks. Additionally, this paper shares initial findings on the productivity improvements observed after GitHub Copilot was adopted on a large scale, with about 1000 engineers using it. ANZ Bank's six-week experiment with GitHub Copilot included two weeks of preparation and four weeks of active testing. The study evaluated participant sentiment and the tool's impact on productivity, code quality, and security. Initially, participants used GitHub Copilot for proposed use-cases, with their feedback gathered through regular surveys. In the second phase, they were divided into Control and Copilot groups, each tackling the same Python challenges, and their experiences were again surveyed. Results showed a notable boost in productivity and code quality with GitHub Copilot, though its impact on code security remained inconclusive. Participant responses were overall positive, confirming GitHub Copilot's effectiveness in large-scale software engineering environments. Early data from 1000 engineers also indicated a significant increase in productivity and job satisfaction.
- Abstract（参考訳）: AI、特にLarge Language Models (LLMs)の普及は、ソフトウェア工学を含む様々な領域に大きな影響を与えている。
本研究では,大規模組織におけるソフトウェアエンジニアリングプラクティスにおけるAIツールの統合について検討する。
私たちは、ソフトウェア開発ライフサイクルのすべての側面をカバーする5000人以上のエンジニアを雇用するANZ Bankに重点を置いています。
本稿では、実世界のエンジニアリングタスクにおけるその有効性を評価するために、制御された環境内で、注目すべきAIツールであるGitHub Copilotを使用して実施された実験について詳述する。
さらに、GitHub Copilotが大規模に採用されて以降の生産性向上に関する最初の調査結果を、約1000人のエンジニアが使用している。
ANZ BankのGitHub Copilotでの6週間の実験には、2週間の準備と4週間のアクティブテストが含まれていた。
調査は、参加者の感情とツールが生産性、コード品質、セキュリティに与える影響を評価した。
当初、参加者はGitHub Copilotを使って提案されたユースケースに利用し、フィードバックは定期的な調査を通じて収集された。
第2フェーズでは、これらをコントロールグループとコパイロットグループに分割し、それぞれが同じPythonの課題に対処し、彼らの経験を再度調査した。
結果は、GitHub Copilotによる生産性とコード品質の顕著な向上を示したが、コードセキュリティへの影響は決定的ではなかった。
参加者の反応は全体的に肯定的であり、大規模なソフトウェアエンジニアリング環境でのGitHub Copilotの有効性が確認された。
1000人のエンジニアによる初期のデータによると、生産性と仕事の満足度も大幅に向上した。
関連論文リスト
- OpenHands: An Open Platform for AI Software Developers as Generalist Agents [109.8507367518992]
私たちは、人間の開発者と同じような方法で世界と対話するAIエージェントを開発するためのプラットフォームであるOpenHandsを紹介します。
プラットフォームが新しいエージェントの実装を可能にし、コード実行のためのサンドボックス環境との安全なインタラクション、評価ベンチマークの導入について説明する。
論文 参考訳（メタデータ） (2024-07-23T17:50:43Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects [0.0]
GitHub CopilotはAIによるコーディングアシスタントだ。
本研究では、GitHub Copilotを使用する際の効率向上、改善の領域、新たな課題について評価する。
論文 参考訳（メタデータ） (2024-06-25T19:51:21Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文 参考訳（メタデータ） (2024-02-02T14:30:02Z) - DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。
DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。
DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
論文 参考訳（メタデータ） (2024-01-12T06:51:30Z) - Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。
ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。
473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
論文 参考訳（メタデータ） (2023-11-02T06:24:38Z) - Measuring the Runtime Performance of Code Produced with GitHub Copilot [1.6021036144262577]
開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
論文 参考訳（メタデータ） (2023-05-10T20:14:52Z) - The GitHub Development Workflow Automation Ecosystems [47.818229204130596]
大規模なソフトウェア開発は、非常に協力的な取り組みになっています。
この章では、開発ボットとGitHub Actionsのエコシステムについて解説する。
この領域における最先端技術に関する広範な調査を提供する。
論文 参考訳（メタデータ） (2023-05-08T15:24:23Z) - Study of software developers' experience using the Github Copilot Tool
in the software development process [0.0]
Github Copilotは2021年6月29日に発表された。
トレーニングされたモデルを使用して、人間の理解可能な言語に基づいたコードを生成する。
本研究では,このツールに対する開発者のアプローチについて検討する。
論文 参考訳（メタデータ） (2023-01-12T13:12:54Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳（メタデータ） (2021-08-20T17:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。