論文の概要: Comparing Software Developers with ChatGPT: An Empirical Investigation
- arxiv url: http://arxiv.org/abs/2305.11837v2
- Date: Thu, 25 May 2023 14:58:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 19:42:07.443501
- Title: Comparing Software Developers with ChatGPT: An Empirical Investigation
- Title（参考訳）: ソフトウェア開発者とChatGPTを比較する - 実証調査
- Authors: Nathalia Nascimento and Paulo Alencar and Donald Cowan
- Abstract要約: 本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of automation in particular Software Engineering (SE) tasks has
transitioned from theory to reality. Numerous scholarly articles have
documented the successful application of Artificial Intelligence to address
issues in areas such as project management, modeling, testing, and development.
A recent innovation is the introduction of ChatGPT, an ML-infused chatbot,
touted as a resource proficient in generating programming codes and formulating
software testing strategies for developers and testers respectively. Although
there is speculation that AI-based computation can increase productivity and
even substitute software engineers in software development, there is currently
a lack of empirical evidence to verify this. Moreover, despite the primary
focus on enhancing the accuracy of AI systems, non-functional requirements
including energy efficiency, vulnerability, fairness (i.e., human bias), and
safety frequently receive insufficient attention. This paper posits that a
comprehensive comparison of software engineers and AI-based solutions,
considering various evaluation criteria, is pivotal in fostering human-machine
collaboration, enhancing the reliability of AI-based methods, and understanding
task suitability for humans or AI. Furthermore, it facilitates the effective
implementation of cooperative work structures and human-in-the-loop processes.
This paper conducts an empirical investigation, contrasting the performance of
software engineers and AI systems, like ChatGPT, across different evaluation
metrics. The empirical study includes a case of assessing ChatGPT-generated
code versus code produced by developers and uploaded in Leetcode.
- Abstract（参考訳）: 特にソフトウェアエンジニアリング(SE)タスクにおける自動化の出現は、理論から現実へと移行した。
多くの学術論文が、プロジェクト管理、モデリング、テスト、開発といった分野における問題に対処するために人工知能が成功したことを文書化している。
最近のイノベーションは、プログラミングコードの生成と、開発者とテスタのためのソフトウェアテスト戦略の策定に熟練したリソースとして、mlを組み込んだチャットボットであるchatgptの導入である。
AIベースの計算によって生産性が向上し、ソフトウェア開発でソフトウェアエンジニアの代わりになるのではないかという憶測もあるが、この検証には実証的な証拠が不足している。
さらに、AIシステムの精度向上に重点を置いているにもかかわらず、エネルギー効率、脆弱性、公平性(すなわち人間の偏見)、安全性といった非機能要件は、しばしば不十分な注意を払っている。
本稿では、さまざまな評価基準を考慮して、ソフトウェア技術者とAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションの促進、AIベースの手法の信頼性の向上、人間やAIのタスク適合性理解において重要であることを示唆する。
さらに、協調作業構造と人為的プロセスの効果的な実装を容易にする。
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
実証研究には、開発者が生成しLeetcodeにアップロードしたコードに対してChatGPT生成コードを評価するケースが含まれている。
関連論文リスト
- Is ChatGPT the Ultimate Programming Assistant -- How far is it? [9.738921038288133]
大規模言語モデル(LLM)は、AI駆動のソフトウェア工学でますます採用されている。
ChatGPTはソースコードを議論するボットとしての可能性に大きな注目を集めている。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証分析を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - Genetic Micro-Programs for Automated Software Testing with Large Path
Coverage [0.0]
既存のソフトウェアテスト技術は、検索アルゴリズムを利用して、高い実行パスカバレッジを実現する入力値を見つけることに重点を置いている。
本稿では、進化したソリューションが入力値ではなく、繰り返し入力値を生成するマイクロプログラムである新しい遺伝的プログラミングフレームワークの概要を述べる。
我々のアプローチは多くの異なるソフトウェアシステムに適用できるような一般化が可能であり、そのため、トレーニングされた特定のソフトウェアコンポーネントのみに特化していない、と我々は主張する。
論文 参考訳（メタデータ） (2023-02-14T18:47:21Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z) - Artificial Intelligence in Software Testing : Impact, Problems,
Challenges and Prospect [0.0]
この研究は、テストにAIを適用しながら、ソフトウェアテスタが直面する最も大きな課題を認識し、説明することを目的としている。
この記事では、ソフトウェアテストの分野におけるAIの今後の重要な貢献についても提案する。
論文 参考訳（メタデータ） (2022-01-14T10:21:51Z) - Empowered and Embedded: Ethics and Agile Processes [60.63670249088117]
私たちは倫理的考慮事項を(アジャイル)ソフトウェア開発プロセスに組み込む必要があると論じています。
私たちは、すでに存在しており、確立されたアジャイルソフトウェア開発プロセスで倫理的な議論を実施する可能性を強調しました。
論文 参考訳（メタデータ） (2021-07-15T11:14:03Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳（メタデータ） (2021-01-11T15:54:48Z) - AI-based Modeling and Data-driven Evaluation for Smart Manufacturing
Processes [56.65379135797867]
本稿では,半導体製造プロセスに関する有用な知見を得るための動的アルゴリズムを提案する。
本稿では,遺伝的アルゴリズムとニューラルネットワークを利用して,知的特徴選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-29T14:57:53Z) - Opening the Software Engineering Toolbox for the Assessment of
Trustworthy AI [17.910325223647362]
我々は、信頼できるAIを評価するためのソフトウェアエンジニアリングとテストプラクティスの適用について論じる。
欧州委員会のAIハイレベル専門家グループによって定義された7つの重要な要件の関連付けを行います。
論文 参考訳（メタデータ） (2020-07-14T08:16:15Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z) - Quality Management of Machine Learning Systems [0.0]
機械学習(ML)技術の大きな進歩により、人工知能(AI)は私たちの日常生活の一部になっています。
ビジネス/ミッションクリティカルなシステムでは、AIアプリケーションの信頼性と保守性に関する深刻な懸念が残っている。
本稿では,MLアプリケーションのための総合的な品質管理フレームワークの展望について述べる。
論文 参考訳（メタデータ） (2020-06-16T21:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。