論文の概要: Which is a better programming assistant? A comparative study between
chatgpt and stack overflow
- arxiv url: http://arxiv.org/abs/2308.13851v1
- Date: Sat, 26 Aug 2023 11:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:26:19.051071
- Title: Which is a better programming assistant? A comparative study between
chatgpt and stack overflow
- Title（参考訳）: どちらが優れたプログラミングアシスタントか?
chatgptとスタックオーバーフローの比較研究
- Authors: Jinrun Liu, Xinyu Tang, Linlin Li, Panpan Chen, Yepang Liu
- Abstract要約: プログラマの生産性を向上させるために,Stack OverflowとChatGPTのパフォーマンスを比較した。
コード品質に関しては、ChatGPTがStack Overflowをはるかに上回り、アルゴリズムやライブラリ関連のタスクの完全化を支援している。
プログラミング支援における2つのプラットフォーム間の相違したパフォーマンスの背景にある理由を明らかにする。
- 参考スコア（独自算出の注目度）: 10.861651344753591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Programmers often seek help from Q\&A websites to resolve issues they
encounter during programming. Stack Overflow has been a widely used platform
for this purpose for over a decade. Recently, revolutionary AI-powered
platforms like ChatGPT have quickly gained popularity among programmers for
their efficient and personalized programming assistance via natural language
interactions. Both platforms can offer valuable assistance to programmers, but
it's unclear which is more effective at enhancing programmer productivity. In
our paper, we conducted an exploratory user study to compare the performance of
Stack Overflow and ChatGPT in enhancing programmer productivity. Two groups of
students with similar programming abilities were instructed to use the two
platforms to solve three different types of programming tasks: algorithmic
challenges, library usage, and debugging. During the experiments, we measured
and compared the quality of code produced and the time taken to complete tasks
for the two groups. The results show that, concerning code quality, ChatGPT
outperforms Stack Overflow significantly in helping complete algorithmic and
library-related tasks, while Stack Overflow is better for debugging tasks.
Regarding task completion speed, the ChatGPT group is obviously faster than the
Stack Overflow group in the algorithmic challenge, but the two groups have a
similar performance in the other two tasks. Additionally, we conducted a
post-experiment survey with the participants to understand how the platforms
have helped them complete the programming tasks. We analyzed the questionnaires
to summarize ChatGPT and Stack Overflow's strengths and weaknesses pointed out
by the participants. By comparing these, we identified the reasons behind the
two platforms' divergent performances in programming assistance.
- Abstract（参考訳）: プログラマは、しばしばq\&a webサイトから助けを求め、プログラミング中に遭遇する問題を解決する。
Stack Overflowは10年以上にわたって,この目的のために広く使用されているプラットフォームです。
近年、ChatGPTのような革命的なAIプラットフォームは、自然言語インタラクションによる効率的でパーソナライズされたプログラミング支援によって、プログラマの間で急速に人気を集めている。
どちらのプラットフォームもプログラマに貴重な支援を提供することができますが、どのプラットフォームがプログラマの生産性を高めるのに効果的かは不明です。
本稿では,stack overflow と chatgpt の性能をプログラマの生産性向上に比較するために,探索的ユーザ調査を行った。
同様のプログラミング能力を持つ学生の2つのグループは、アルゴリズムの課題、ライブラリの使用、デバッグという3つの異なるプログラミングタスクを解決するために2つのプラットフォームを使用するように指示された。
実験では、生成したコードの品質と2つのグループのタスクの完了に要する時間を測定して比較した。
結果は、コード品質に関して、ChatGPTがStack Overflowを著しく上回り、アルゴリズムやライブラリ関連のタスクを完了させる一方で、Stack Overflowはデバッグタスクに優れていることを示している。
タスク完了のスピードに関して、ChatGPTグループはアルゴリズム上の課題ではStack Overflowグループよりも明らかに速いが、他の2つのタスクでは同様のパフォーマンスがある。
さらに,実験後調査を行い,プラットフォームがプログラミングタスクの完了にどのように役立ったのかについて検討した。
chatgptとstack overflowの長所と短所を要約するために質問紙を分析した。
これらを比較することで,両プラットフォームのプログラミング支援における多種多様なパフォーマンスの背景を明らかにした。
関連論文リスト
- Hints Help Finding and Fixing Bugs Differently in Python and Text-based Program Representations [28.829745991874816]
プログラム表現は,バグの発見と修正におけるユーザの精度に大きな影響を与えることがわかった。
異なるヒントは、プログラム表現とユーザのアルゴリズム的タスクに対する理解に依存する。
これらの発見は、ユーザにパーソナライズされたサポートを提供する次世代プログラミングツールの設計に影響を及ぼす。
論文 参考訳（メタデータ） (2024-12-17T02:11:53Z) - CoRNStack: High-Quality Contrastive Data for Better Code Ranking [45.18877655831977]
CoRNStackは、複数のプログラミング言語にまたがるコードのための、大規模で高品質なコントラストトレーニングデータセットです。
このデータセットは、ノイズ正の除去のために一貫性フィルタリングを用いてキュレートされ、さらに硬い負のマイニングによって濃縮される。
我々は、CoRNStackを用いた埋め込みモデルの対照的なトレーニングが、様々なコード検索タスクにおける最先端のパフォーマンスをもたらすことを実証した。
論文 参考訳（メタデータ） (2024-12-01T23:54:12Z) - FullStack Bench: Evaluating LLMs as Full Stack Coders [108.63536080569877]
FullStack Benchは、幅広いアプリケーションドメインを含むフルスタックプログラミングに焦点を当てている。
FullStack Benchのマルチ言語プログラミング機能を評価するために,16の広く使用されているプログラミング言語から実世界の命令とそれに対応する単体テストケースを設計する。
論文 参考訳（メタデータ） (2024-11-30T16:58:42Z) - Amplifying human performance in combinatorial competitive programming [41.59043428241635]
私たちは競争力のあるプログラミングに重点を置いています。そこでは、難解な問題に対する、可能な限り優れた解決策を見つけることを目的としています。
私たちは、GoogleのNPハードなソフトウェアエンジニアリング問題に触発されたグローバルなチームプログラミングコンペであるHash Codeの以前のイテレーションにアプローチをデプロイしています。
私たちのソリューションは、ベースラインから得られたスコアを大幅に改善し、以前のHash Codeオンライン資格ラウンドのトップパーセンタイルに到達しました。
論文 参考訳（メタデータ） (2024-11-29T14:40:36Z) - Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants [0.0]
コード生成やバグ修正、最適化といったタスクには、大きな言語モデル(LLM)が不可欠になっています。
本稿では、ChatGPT、Codeium、GitHub Copilotの比較研究を行い、LeetCode問題におけるパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-09-30T03:53:40Z) - Benchmarking Predictive Coding Networks -- Made Simple [48.652114040426625]
機械学習における予測符号化ネットワーク(PCN)の効率性とスケーラビリティの問題に取り組む。
そこで我々は,PCXと呼ばれる,パフォーマンスと簡易性を重視したライブラリを提案する。
我々は,PCNの既存アルゴリズムと,生物工学的な深層学習コミュニティで普及している他の手法を併用して,このようなベンチマークを広範囲に実施する。
論文 参考訳（メタデータ） (2024-07-01T10:33:44Z) - Automatic Bi-modal Question Title Generation for Stack Overflow with
Prompt Learning [10.76882347665857]
最初の研究は、質問本体のコードスニペットだけを分析してタイトルを自動的に生成することを目的としていた。
本稿では,問題本体のバイモーダル情報(コードスニペットと問題記述)を考慮し,SOTitle+のアプローチを提案する。
私たちのコーパスには、人気のある6つのプログラミング言語に対する179,119の質の高い質問投稿が含まれています。
論文 参考訳（メタデータ） (2024-03-06T12:58:25Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - Exploring the Use of ChatGPT as a Tool for Learning and Assessment in
Undergraduate Computer Science Curriculum: Opportunities and Challenges [0.3553493344868413]
本稿では,ChatGPTを大学コンピュータサイエンスカリキュラムの学習・評価ツールとして活用する上での課題と課題について論じる。
グループBの学生はChatGPTにアクセスでき、プログラミングの課題を解決するために使うことを奨励された。
結果より,ChatGPTを用いた学生は成績の点で有利であったが,提出されたコードには矛盾や不正確性があった。
論文 参考訳（メタデータ） (2023-04-16T21:04:52Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。