論文の概要: Comparing Software Developers with ChatGPT: An Empirical Investigation
- arxiv url: http://arxiv.org/abs/2305.11837v2
- Date: Thu, 25 May 2023 14:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-05-26 19:42:07.443501
- Title: Comparing Software Developers with ChatGPT: An Empirical Investigation
- Title（参考訳）: ソフトウェア開発者とChatGPTを比較する - 実証調査
- Authors: Nathalia Nascimento and Paulo Alencar and Donald Cowan
- Abstract要約: 本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of automation in particular Software Engineering (SE) tasks has
transitioned from theory to reality. Numerous scholarly articles have
documented the successful application of Artificial Intelligence to address
issues in areas such as project management, modeling, testing, and development.
A recent innovation is the introduction of ChatGPT, an ML-infused chatbot,
touted as a resource proficient in generating programming codes and formulating
software testing strategies for developers and testers respectively. Although
there is speculation that AI-based computation can increase productivity and
even substitute software engineers in software development, there is currently
a lack of empirical evidence to verify this. Moreover, despite the primary
focus on enhancing the accuracy of AI systems, non-functional requirements
including energy efficiency, vulnerability, fairness (i.e., human bias), and
safety frequently receive insufficient attention. This paper posits that a
comprehensive comparison of software engineers and AI-based solutions,
considering various evaluation criteria, is pivotal in fostering human-machine
collaboration, enhancing the reliability of AI-based methods, and understanding
task suitability for humans or AI. Furthermore, it facilitates the effective
implementation of cooperative work structures and human-in-the-loop processes.
This paper conducts an empirical investigation, contrasting the performance of
software engineers and AI systems, like ChatGPT, across different evaluation
metrics. The empirical study includes a case of assessing ChatGPT-generated
code versus code produced by developers and uploaded in Leetcode.
- Abstract（参考訳）: 特にソフトウェアエンジニアリング(SE)タスクにおける自動化の出現は、理論から現実へと移行した。
多くの学術論文が、プロジェクト管理、モデリング、テスト、開発といった分野における問題に対処するために人工知能が成功したことを文書化している。
最近のイノベーションは、プログラミングコードの生成と、開発者とテスタのためのソフトウェアテスト戦略の策定に熟練したリソースとして、mlを組み込んだチャットボットであるchatgptの導入である。
AIベースの計算によって生産性が向上し、ソフトウェア開発でソフトウェアエンジニアの代わりになるのではないかという憶測もあるが、この検証には実証的な証拠が不足している。
さらに、AIシステムの精度向上に重点を置いているにもかかわらず、エネルギー効率、脆弱性、公平性(すなわち人間の偏見)、安全性といった非機能要件は、しばしば不十分な注意を払っている。
本稿では、さまざまな評価基準を考慮して、ソフトウェア技術者とAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションの促進、AIベースの手法の信頼性の向上、人間やAIのタスク適合性理解において重要であることを示唆する。
さらに、協調作業構造と人為的プロセスの効果的な実装を容易にする。
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
実証研究には、開発者が生成しLeetcodeにアップロードしたコードに対してChatGPT生成コードを評価するケースが含まれている。
関連論文リスト
- Expectations vs Reality -- A Secondary Study on AI Adoption in Software Testing [0.7812210699650152]
ソフトウェア産業では、人工知能(AI)がソフトウェア開発活動でますます利用されている。
本研究の目的は,ソフトウェアテストにおけるAIにおける産業文脈による実証研究の種類を特定することである。
論文 参考訳（メタデータ） (2025-04-07T11:03:54Z) - Analysis of Student-LLM Interaction in a Software Engineering Project [1.2233362977312945]
我々は、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で126人の学部生とAIアシスタントとのインタラクションを分析した。
以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。
会話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。
論文 参考訳（メタデータ） (2025-02-03T11:44:00Z) - TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。
最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。
これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
論文 参考訳（メタデータ） (2024-12-18T18:55:40Z) - Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。
Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
論文 参考訳（メタデータ） (2024-11-01T14:27:16Z) - The Role of Artificial Intelligence and Machine Learning in Software Testing [0.14896196009851972]
人工知能(AI)と機械学習(ML)は様々な産業に大きな影響を与えている。
ソフトウェア開発ライフサイクル(SDLC)の重要な部分であるソフトウェアテストは、ソフトウェア製品の品質と信頼性を保証する。
本稿では、既存の文献をレビューし、現在のツールや技術を分析し、ケーススタディを提示することで、ソフトウェアテストにおけるAIとMLの役割について考察する。
論文 参考訳（メタデータ） (2024-09-04T13:25:13Z) - Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。
継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。
我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文 参考訳（メタデータ） (2024-06-24T15:45:22Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Developers' Perceptions on the Impact of ChatGPT in Software Development: A Survey [13.257222195239375]
ソフトウェアの品質、生産性、仕事満足度に対するChatGPTの影響を理解するため、207人のソフトウェア開発者と調査を行った。
この研究は、ChatGPTの今後の適応に関する開発者の期待、潜在的な仕事の移転に関する懸念、規制介入の視点について詳しく述べている。
論文 参考訳（メタデータ） (2024-05-20T17:31:16Z) - Using Machine Learning To Identify Software Weaknesses From Software
Requirement Specifications [49.1574468325115]
本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。
ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
論文 参考訳（メタデータ） (2023-08-10T13:19:10Z) - Genetic Micro-Programs for Automated Software Testing with Large Path
Coverage [0.0]
既存のソフトウェアテスト技術は、検索アルゴリズムを利用して、高い実行パスカバレッジを実現する入力値を見つけることに重点を置いている。
本稿では、進化したソリューションが入力値ではなく、繰り返し入力値を生成するマイクロプログラムである新しい遺伝的プログラミングフレームワークの概要を述べる。
我々のアプローチは多くの異なるソフトウェアシステムに適用できるような一般化が可能であり、そのため、トレーニングされた特定のソフトウェアコンポーネントのみに特化していない、と我々は主張する。
論文 参考訳（メタデータ） (2023-02-14T18:47:21Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z) - Opening the Software Engineering Toolbox for the Assessment of
Trustworthy AI [17.910325223647362]
我々は、信頼できるAIを評価するためのソフトウェアエンジニアリングとテストプラクティスの適用について論じる。
欧州委員会のAIハイレベル専門家グループによって定義された7つの重要な要件の関連付けを行います。
論文 参考訳（メタデータ） (2020-07-14T08:16:15Z) - Quality Management of Machine Learning Systems [0.0]
機械学習(ML)技術の大きな進歩により、人工知能(AI)は私たちの日常生活の一部になっています。
ビジネス/ミッションクリティカルなシステムでは、AIアプリケーションの信頼性と保守性に関する深刻な懸念が残っている。
本稿では,MLアプリケーションのための総合的な品質管理フレームワークの展望について述べる。
論文 参考訳（メタデータ） (2020-06-16T21:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。