論文の概要: Which is a better programming assistant? A comparative study between
chatgpt and stack overflow
- arxiv url: http://arxiv.org/abs/2308.13851v1
- Date: Sat, 26 Aug 2023 11:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:26:19.051071
- Title: Which is a better programming assistant? A comparative study between
chatgpt and stack overflow
- Title（参考訳）: どちらが優れたプログラミングアシスタントか?
chatgptとスタックオーバーフローの比較研究
- Authors: Jinrun Liu, Xinyu Tang, Linlin Li, Panpan Chen, Yepang Liu
- Abstract要約: プログラマの生産性を向上させるために,Stack OverflowとChatGPTのパフォーマンスを比較した。
コード品質に関しては、ChatGPTがStack Overflowをはるかに上回り、アルゴリズムやライブラリ関連のタスクの完全化を支援している。
プログラミング支援における2つのプラットフォーム間の相違したパフォーマンスの背景にある理由を明らかにする。
- 参考スコア（独自算出の注目度）: 10.861651344753591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Programmers often seek help from Q\&A websites to resolve issues they
encounter during programming. Stack Overflow has been a widely used platform
for this purpose for over a decade. Recently, revolutionary AI-powered
platforms like ChatGPT have quickly gained popularity among programmers for
their efficient and personalized programming assistance via natural language
interactions. Both platforms can offer valuable assistance to programmers, but
it's unclear which is more effective at enhancing programmer productivity. In
our paper, we conducted an exploratory user study to compare the performance of
Stack Overflow and ChatGPT in enhancing programmer productivity. Two groups of
students with similar programming abilities were instructed to use the two
platforms to solve three different types of programming tasks: algorithmic
challenges, library usage, and debugging. During the experiments, we measured
and compared the quality of code produced and the time taken to complete tasks
for the two groups. The results show that, concerning code quality, ChatGPT
outperforms Stack Overflow significantly in helping complete algorithmic and
library-related tasks, while Stack Overflow is better for debugging tasks.
Regarding task completion speed, the ChatGPT group is obviously faster than the
Stack Overflow group in the algorithmic challenge, but the two groups have a
similar performance in the other two tasks. Additionally, we conducted a
post-experiment survey with the participants to understand how the platforms
have helped them complete the programming tasks. We analyzed the questionnaires
to summarize ChatGPT and Stack Overflow's strengths and weaknesses pointed out
by the participants. By comparing these, we identified the reasons behind the
two platforms' divergent performances in programming assistance.
- Abstract（参考訳）: プログラマは、しばしばq\&a webサイトから助けを求め、プログラミング中に遭遇する問題を解決する。
Stack Overflowは10年以上にわたって,この目的のために広く使用されているプラットフォームです。
近年、ChatGPTのような革命的なAIプラットフォームは、自然言語インタラクションによる効率的でパーソナライズされたプログラミング支援によって、プログラマの間で急速に人気を集めている。
どちらのプラットフォームもプログラマに貴重な支援を提供することができますが、どのプラットフォームがプログラマの生産性を高めるのに効果的かは不明です。
本稿では,stack overflow と chatgpt の性能をプログラマの生産性向上に比較するために,探索的ユーザ調査を行った。
同様のプログラミング能力を持つ学生の2つのグループは、アルゴリズムの課題、ライブラリの使用、デバッグという3つの異なるプログラミングタスクを解決するために2つのプラットフォームを使用するように指示された。
実験では、生成したコードの品質と2つのグループのタスクの完了に要する時間を測定して比較した。
結果は、コード品質に関して、ChatGPTがStack Overflowを著しく上回り、アルゴリズムやライブラリ関連のタスクを完了させる一方で、Stack Overflowはデバッグタスクに優れていることを示している。
タスク完了のスピードに関して、ChatGPTグループはアルゴリズム上の課題ではStack Overflowグループよりも明らかに速いが、他の2つのタスクでは同様のパフォーマンスがある。
さらに,実験後調査を行い,プラットフォームがプログラミングタスクの完了にどのように役立ったのかについて検討した。
chatgptとstack overflowの長所と短所を要約するために質問紙を分析した。
これらを比較することで,両プラットフォームのプログラミング支援における多種多様なパフォーマンスの背景を明らかにした。
関連論文リスト
- Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants [0.0]
コード生成やバグ修正、最適化といったタスクには、大きな言語モデル(LLM)が不可欠になっています。
本稿では、ChatGPT、Codeium、GitHub Copilotの比較研究を行い、LeetCode問題におけるパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-09-30T03:53:40Z) - Automatic Bi-modal Question Title Generation for Stack Overflow with
Prompt Learning [10.76882347665857]
最初の研究は、質問本体のコードスニペットだけを分析してタイトルを自動的に生成することを目的としていた。
本稿では,問題本体のバイモーダル情報(コードスニペットと問題記述)を考慮し,SOTitle+のアプローチを提案する。
私たちのコーパスには、人気のある6つのプログラミング言語に対する179,119の質の高い質問投稿が含まれています。
論文 参考訳（メタデータ） (2024-03-06T12:58:25Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - Exploring the Use of ChatGPT as a Tool for Learning and Assessment in
Undergraduate Computer Science Curriculum: Opportunities and Challenges [0.3553493344868413]
本稿では,ChatGPTを大学コンピュータサイエンスカリキュラムの学習・評価ツールとして活用する上での課題と課題について論じる。
グループBの学生はChatGPTにアクセスでき、プログラミングの課題を解決するために使うことを奨励された。
結果より,ChatGPTを用いた学生は成績の点で有利であったが,提出されたコードには矛盾や不正確性があった。
論文 参考訳（メタデータ） (2023-04-16T21:04:52Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
論文 参考訳（メタデータ） (2023-03-23T16:15:03Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Planning for Sample Efficient Imitation Learning [52.44953015011569]
現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。
本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。
実験結果から,EIは性能と試料効率の両立を図った。
論文 参考訳（メタデータ） (2022-10-18T05:19:26Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。