論文の概要: Comparing Software Developers with ChatGPT: An Empirical Investigation
- arxiv url: http://arxiv.org/abs/2305.11837v2
- Date: Thu, 25 May 2023 14:58:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 19:42:07.443501
- Title: Comparing Software Developers with ChatGPT: An Empirical Investigation
- Title(参考訳): ソフトウェア開発者とChatGPTを比較する - 実証調査
- Authors: Nathalia Nascimento and Paulo Alencar and Donald Cowan
- Abstract要約: 本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of automation in particular Software Engineering (SE) tasks has
transitioned from theory to reality. Numerous scholarly articles have
documented the successful application of Artificial Intelligence to address
issues in areas such as project management, modeling, testing, and development.
A recent innovation is the introduction of ChatGPT, an ML-infused chatbot,
touted as a resource proficient in generating programming codes and formulating
software testing strategies for developers and testers respectively. Although
there is speculation that AI-based computation can increase productivity and
even substitute software engineers in software development, there is currently
a lack of empirical evidence to verify this. Moreover, despite the primary
focus on enhancing the accuracy of AI systems, non-functional requirements
including energy efficiency, vulnerability, fairness (i.e., human bias), and
safety frequently receive insufficient attention. This paper posits that a
comprehensive comparison of software engineers and AI-based solutions,
considering various evaluation criteria, is pivotal in fostering human-machine
collaboration, enhancing the reliability of AI-based methods, and understanding
task suitability for humans or AI. Furthermore, it facilitates the effective
implementation of cooperative work structures and human-in-the-loop processes.
This paper conducts an empirical investigation, contrasting the performance of
software engineers and AI systems, like ChatGPT, across different evaluation
metrics. The empirical study includes a case of assessing ChatGPT-generated
code versus code produced by developers and uploaded in Leetcode.
- Abstract(参考訳): 特にソフトウェアエンジニアリング(SE)タスクにおける自動化の出現は、理論から現実へと移行した。
多くの学術論文が、プロジェクト管理、モデリング、テスト、開発といった分野における問題に対処するために人工知能が成功したことを文書化している。
最近のイノベーションは、プログラミングコードの生成と、開発者とテスタのためのソフトウェアテスト戦略の策定に熟練したリソースとして、mlを組み込んだチャットボットであるchatgptの導入である。
AIベースの計算によって生産性が向上し、ソフトウェア開発でソフトウェアエンジニアの代わりになるのではないかという憶測もあるが、この検証には実証的な証拠が不足している。
さらに、AIシステムの精度向上に重点を置いているにもかかわらず、エネルギー効率、脆弱性、公平性(すなわち人間の偏見)、安全性といった非機能要件は、しばしば不十分な注意を払っている。
本稿では、さまざまな評価基準を考慮して、ソフトウェア技術者とAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションの促進、AIベースの手法の信頼性の向上、人間やAIのタスク適合性理解において重要であることを示唆する。
さらに、協調作業構造と人為的プロセスの効果的な実装を容易にする。
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
実証研究には、開発者が生成しLeetcodeにアップロードしたコードに対してChatGPT生成コードを評価するケースが含まれている。
関連論文リスト
- SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳(メタデータ) (2024-01-29T10:01:10Z) - Using Machine Learning To Identify Software Weaknesses From Software
Requirement Specifications [49.1574468325115]
本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。
ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
論文 参考訳(メタデータ) (2023-08-10T13:19:10Z) - Communicative Agents for Software Development [79.86905471184195]
ChatDevはチャットを利用した仮想ソフトウェア開発会社で、確立したウォーターフォールモデルを反映している。
各ステージは、プログラマ、コードレビュアー、テストエンジニアといった"ソフトウェアエージェント"のチームが参加し、協調的な対話を促進する。
ChatDevは潜在的な脆弱性を特定し、信頼できる効率とコスト効率を維持しながら幻覚を正す。
論文 参考訳(メタデータ) (2023-07-16T02:11:34Z) - Navigating the Complexity of Generative AI Adoption in Software
Engineering [6.190511747986327]
ソフトウェア工学における生成人工知能(AI)ツールの採用パターンについて検討した。
個人レベル、技術レベル、社会的レベルの影響要因を分析した。
論文 参考訳(メタデータ) (2023-07-12T11:05:19Z) - Genetic Micro-Programs for Automated Software Testing with Large Path
Coverage [0.0]
既存のソフトウェアテスト技術は、検索アルゴリズムを利用して、高い実行パスカバレッジを実現する入力値を見つけることに重点を置いている。
本稿では、進化したソリューションが入力値ではなく、繰り返し入力値を生成するマイクロプログラムである新しい遺伝的プログラミングフレームワークの概要を述べる。
我々のアプローチは多くの異なるソフトウェアシステムに適用できるような一般化が可能であり、そのため、トレーニングされた特定のソフトウェアコンポーネントのみに特化していない、と我々は主張する。
論文 参考訳(メタデータ) (2023-02-14T18:47:21Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z) - Artificial Intelligence in Software Testing : Impact, Problems,
Challenges and Prospect [0.0]
この研究は、テストにAIを適用しながら、ソフトウェアテスタが直面する最も大きな課題を認識し、説明することを目的としている。
この記事では、ソフトウェアテストの分野におけるAIの今後の重要な貢献についても提案する。
論文 参考訳(メタデータ) (2022-01-14T10:21:51Z) - Empowered and Embedded: Ethics and Agile Processes [60.63670249088117]
私たちは倫理的考慮事項を(アジャイル)ソフトウェア開発プロセスに組み込む必要があると論じています。
私たちは、すでに存在しており、確立されたアジャイルソフトウェア開発プロセスで倫理的な議論を実施する可能性を強調しました。
論文 参考訳(メタデータ) (2021-07-15T11:14:03Z) - Opening the Software Engineering Toolbox for the Assessment of
Trustworthy AI [17.910325223647362]
我々は、信頼できるAIを評価するためのソフトウェアエンジニアリングとテストプラクティスの適用について論じる。
欧州委員会のAIハイレベル専門家グループによって定義された7つの重要な要件の関連付けを行います。
論文 参考訳(メタデータ) (2020-07-14T08:16:15Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z) - Quality Management of Machine Learning Systems [0.0]
機械学習(ML)技術の大きな進歩により、人工知能(AI)は私たちの日常生活の一部になっています。
ビジネス/ミッションクリティカルなシステムでは、AIアプリケーションの信頼性と保守性に関する深刻な懸念が残っている。
本稿では,MLアプリケーションのための総合的な品質管理フレームワークの展望について述べる。
論文 参考訳(メタデータ) (2020-06-16T21:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。