論文の概要: An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning?
- arxiv url: http://arxiv.org/abs/2409.17473v2
- Date: Mon, 30 Sep 2024 12:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 16:30:51.047305
- Title: An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning?
- Title（参考訳）: コミュニティベースの質問応答プラットフォームとGPT-3によるジェネレーティブAIの探索分析:オンラインコミュニティベースの学習の終わりか?
- Authors: Mohammed Mehedi Hasan, Mahady Hasan, Mamun Bin Ibne Reaz, Jannat Un Nayeem Iqra,
- Abstract要約: ChatGPTは、Stack Overflowのようなコミュニティの質問に答えるプラットフォームに対して、ソフトウェアエンジニアにインタラクティブな代替手段を提供する。
私たちは、2022年1月から2022年12月までに質問されたStackOverflowから、2564のPythonとJavaScriptの質問を分析しました。
分析の結果,ChatGPTの回答は66%短く,質問に対して35%の回答が得られた。
- 参考スコア（独自算出の注目度）: 0.6749750044497732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: The advent of Large Language Model-driven tools like ChatGPT offers software engineers an interactive alternative to community question-answering (CQA) platforms like Stack Overflow. While Stack Overflow provides benefits from the accumulated crowd-sourced knowledge, it often suffers from unpleasant comments, reactions, and long waiting times. Objective: In this study, we assess the efficacy of ChatGPT in providing solutions to software engineering questions by analyzing its performance specifically against human solutions. Method: We empirically analyze 2564 Python and JavaScript questions from StackOverflow that were asked between January 2022 and December 2022. We parse the questions and answers from Stack Overflow, then collect the answers to the same questions from ChatGPT through API, and employ four textual and four cognitive metrics to compare the answers generated by ChatGPT with the accepted answers provided by human subject matter experts to find out the potential reasons for which future knowledge seekers may prefer ChatGPT over CQA platforms. We also measure the accuracy of the answers provided by ChatGPT. We also measure user interaction on StackOverflow over the past two years using three metrics to determine how ChatGPT affects it. Results: Our analysis indicates that ChatGPT's responses are 66% shorter and share 35% more words with the questions, showing a 25% increase in positive sentiment compared to human responses. ChatGPT's answers' accuracy rate is between 71 to 75%, with a variation in response characteristics between JavaScript and Python. Additionally, our findings suggest a recent 38% decrease in comment interactions on Stack Overflow, indicating a shift in community engagement patterns. A supplementary survey with 14 Python and JavaScript professionals validated these findings.
- Abstract（参考訳）: コンテキスト: ChatGPTのような大規模言語モデル駆動ツールの出現は、ソフトウェアエンジニアにStack Overflowのようなコミュニティ質問回答(CQA)プラットフォームに代わるインタラクティブな代替手段を提供する。
Stack Overflowはクラウドソースの知識の蓄積によるメリットを提供するが、しばしば不快なコメントやリアクション、長い待ち時間に悩まされる。
目的: 本研究は,ChatGPTのソフトウェア工学的問題に対するソリューション提供における有効性を評価し,その性能を人為的ソリューションに対して分析する。
メソッド: 私たちは、2022年1月から2022年12月までに質問されたStackOverflowから、2564のPythonとJavaScriptの質問を経験的に分析しました。
Stack Overflowから質問や回答を解析し、ChatGPTからAPIを通じて同じ質問に対する回答を収集し、4つのテキストと4つの認知メトリクスを使用して、ChatGPTが生成した回答と、人間の主題の専門家が提示した回答を比較し、将来の知識希望者がCQAプラットフォームよりもChatGPTを好む可能性を探る。
また,ChatGPTによる回答の精度も測定した。
また、過去2年間のStackOverflowでのユーザインタラクションを3つのメトリクスを使って測定し、ChatGPTがそれにどのように影響するかを確認します。
結果: 分析の結果, ChatGPTの回答は66%短く, 質問に対して35%の回答が得られ, 人の反応に比べて25%の肯定的な感情が増加した。
ChatGPTの回答の正確度は71から75%であり、JavaScriptとPythonの応答特性は様々である。
さらに,Stack Overflowにおけるコメントインタラクションの38%が減少し,コミュニティの関与パターンのシフトが示唆された。
PythonとJavaScriptのプロフェッショナル14名による補足的な調査で、これらの調査結果が検証された。
関連論文リスト
- Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - An empirical study of ChatGPT-3.5 on question answering and code
maintenance [14.028497274245227]
ChatGPTがプログラマを置き換え、ジョブを廃止するかどうかという懸念が高まっている。
そこで我々は,ChatGPTとプログラマの質問応答とソフトウェア保守を系統的に比較するための実証的研究を行った。
論文 参考訳（メタデータ） (2023-10-03T14:48:32Z) - Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of
ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。
また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。
分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
論文 参考訳（メタデータ） (2023-08-04T13:23:20Z) - Are We Ready to Embrace Generative AI for Software Q&A? [25.749110480727765]
世界最大のソフトウェアQ&A(SQA)WebサイトであるStack Overflowは、生成AI技術の出現により、トラフィックの大幅な減少に直面している。
ChatGPTは、Stack Overflowのリリースからわずか6日後に禁止される。
これを検証するために、我々は人書きとChatGPT生成の回答の比較評価を行った。
論文 参考訳（メタデータ） (2023-07-19T05:54:43Z) - Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete? [1.231476564107544]
ChatGPTはコードの生成や開発者の質問に対する応答の代替手段として使用されている。
以上の結果から,プライバシ関連の質問の多くは,選択/同意,集約,識別に関連があることが示唆された。
論文 参考訳（メタデータ） (2023-06-19T21:33:04Z) - Chatbots put to the test in math and logic problems: A preliminary
comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。
回答は記録され、議論され、その強みと弱点を強調します。
その結果,ChatGPT-4はChatGPT-3.5より優れていた。
論文 参考訳（メタデータ） (2023-05-30T11:18:05Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Features that Predict the Acceptability of Java and JavaScript Answers
on Stack Overflow [5.332217496693262]
私たちは、最も人気のある2つのタグ(JavaとJavaScript)の質問と回答を分析してStack Overflowデータセットを調査しました。
その結果,回答中のコードの長さ,ユーザの評判,質問と回答間のテキストの類似性,質問と回答間の時間ラグは,受け入れられない回答と受け入れられない回答を区別する最も高い予測力を有することがわかった。
論文 参考訳（メタデータ） (2021-01-08T03:09:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。