論文の概要: The Impact of AI Tool on Engineering at ANZ Bank An Emperical Study on
GitHub Copilot within Coporate Environment
- arxiv url: http://arxiv.org/abs/2402.05636v1
- Date: Thu, 8 Feb 2024 12:47:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 15:03:23.652409
- Title: The Impact of AI Tool on Engineering at ANZ Bank An Emperical Study on
GitHub Copilot within Coporate Environment
- Title(参考訳): ANZ銀行におけるAIツールのエンジニアリングへの影響 : コーポレート環境におけるGitHubコパイロットの実証的研究
- Authors: Sayan Chatterjee, Ching Louis Liu, Gareth Rowland, Tim Hogarth
- Abstract要約: 本研究では,大規模組織におけるソフトウェアエンジニアリングプラクティスにおけるAIツールの統合について検討する。
私たちは、ソフトウェア開発ライフサイクルのすべての側面をカバーする5000人以上のエンジニアを雇用するANZ Bankに重点を置いています。
本稿では、実世界のエンジニアリングタスクにおけるその有効性を評価するために、制御された環境内で、注目すべきAIツールであるGitHub Copilotを使用して実施された実験について詳述する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The increasing popularity of AI, particularly Large Language Models (LLMs),
has significantly impacted various domains, including Software Engineering.
This study explores the integration of AI tools in software engineering
practices within a large organization. We focus on ANZ Bank, which employs over
5000 engineers covering all aspects of the software development life cycle.
This paper details an experiment conducted using GitHub Copilot, a notable AI
tool, within a controlled environment to evaluate its effectiveness in
real-world engineering tasks. Additionally, this paper shares initial findings
on the productivity improvements observed after GitHub Copilot was adopted on a
large scale, with about 1000 engineers using it. ANZ Bank's six-week experiment
with GitHub Copilot included two weeks of preparation and four weeks of active
testing. The study evaluated participant sentiment and the tool's impact on
productivity, code quality, and security. Initially, participants used GitHub
Copilot for proposed use-cases, with their feedback gathered through regular
surveys. In the second phase, they were divided into Control and Copilot
groups, each tackling the same Python challenges, and their experiences were
again surveyed. Results showed a notable boost in productivity and code quality
with GitHub Copilot, though its impact on code security remained inconclusive.
Participant responses were overall positive, confirming GitHub Copilot's
effectiveness in large-scale software engineering environments. Early data from
1000 engineers also indicated a significant increase in productivity and job
satisfaction.
- Abstract(参考訳): AI、特にLarge Language Models (LLMs)の普及は、ソフトウェア工学を含む様々な領域に大きな影響を与えている。
本研究は、大企業におけるソフトウェアエンジニアリングプラクティスにおけるaiツールの統合を探求する。
anz bankは、ソフトウェア開発ライフサイクルのすべての側面をカバーする5000人以上のエンジニアを雇用しています。
本稿では,実世界のエンジニアリングタスクにおける有効性を評価するために,制御環境内で,注目すべきaiツールであるgithub copilotを用いて実施した実験について述べる。
さらに、GitHub Copilotが大規模に採用されて以降の生産性向上に関する最初の調査結果を、約1000人のエンジニアが使用している。
ANZ BankのGitHub Copilotでの6週間の実験には、2週間の準備と4週間のアクティブテストが含まれていた。
調査は参加者の感情とツールが生産性、コード品質、セキュリティに与える影響を評価した。
当初、参加者はGitHub Copilotを使って提案されたユースケースを使用していた。
第2フェーズでは、これらをコントロールグループとコパイロットグループに分割し、それぞれが同じPythonの課題に対処し、彼らの経験を再度調査した。
その結果、github copilotで生産性とコード品質が著しく向上したが、コードセキュリティへの影響は決定的ではなかった。
参加者の反応は概ね肯定的であり、大規模なソフトウェアエンジニアリング環境でgithub copilotの有効性を確認した。
1000人のエンジニアによる初期のデータによると、生産性と仕事の満足度も大幅に向上した。
関連論文リスト
- Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文 参考訳(メタデータ) (2024-02-02T14:30:02Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳(メタデータ) (2024-01-29T10:01:10Z) - DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。
DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。
DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
論文 参考訳(メタデータ) (2024-01-12T06:51:30Z) - On the Concerns of Developers When Using GitHub Copilot [7.0620363951401925]
GitHub CopilotはAIベースのコード生成ツールで、自然言語処理を使用して提案と自動補完コードを生成する。
その人気にもかかわらず、Copilotで作業するソフトウェア開発者の実際の経験に関する実証的な証拠はほとんどない。
476のGitHubイシュー、706のGitHubディベート、および184のStack Overflowポストからデータを収集し、問題、問題の原因、Copilotを使用する際の問題を解決するソリューションを特定しました。
論文 参考訳(メタデータ) (2023-11-02T06:24:38Z) - SheetCopilot: Bringing Software Productivity to the Next Level through
Large Language Models [60.171444066848856]
本研究では,スプレッドシートの要求を満たすために自然言語処理と制御を行うスプレッドシートコパイロットエージェントを提案する。
221のスプレッドシート制御タスクを含む代表データセットをキュレートし,完全自動評価パイプラインを構築した。
当社の SheetCopilot は1世代で44.3% のタスクを正しく完了し、強力なコード生成ベースラインを広いマージンで上回っている。
論文 参考訳(メタデータ) (2023-05-30T17:59:30Z) - Measuring the Runtime Performance of Code Produced with GitHub Copilot [1.6021036144262577]
開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
論文 参考訳(メタデータ) (2023-05-10T20:14:52Z) - The GitHub Development Workflow Automation Ecosystems [47.818229204130596]
大規模なソフトウェア開発は、非常に協力的な取り組みになっています。
この章では、開発ボットとGitHub Actionsのエコシステムについて解説する。
この領域における最先端技術に関する広範な調査を提供する。
論文 参考訳(メタデータ) (2023-05-08T15:24:23Z) - Study of software developers' experience using the Github Copilot Tool
in the software development process [0.0]
Github Copilotは2021年6月29日に発表された。
トレーニングされたモデルを使用して、人間の理解可能な言語に基づいたコードを生成する。
本研究では,このツールに対する開発者のアプローチについて検討する。
論文 参考訳(メタデータ) (2023-01-12T13:12:54Z) - GitHub Actions: The Impact on the Pull Request Process [7.047566396769727]
本研究では、プロジェクトがGitHub Actionsをどのように利用するか、開発者がGitHub Actionsについて何を議論しているか、プロジェクトアクティビティインジケータが採用後にどのように変化するかを調査する。
私たちの調査によると、5,000のリポジトリのうち1489がGitHub Actionsを採用しています。
また、GitHub Actionsの採用によってプルリクエスト(PR)の拒絶が増加し、受け入れられたPRでのコミュニケーションが増加し、拒否されたPRでのコミュニケーションが減少することが示唆された。
論文 参考訳(メタデータ) (2022-06-28T16:24:17Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳(メタデータ) (2021-08-20T17:30:33Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。