論文の概要: Are We Ready to Embrace Generative AI for Software Q&A?
- arxiv url: http://arxiv.org/abs/2307.09765v2
- Date: Sat, 12 Aug 2023 13:10:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:02:45.004672
- Title: Are We Ready to Embrace Generative AI for Software Q&A?
- Title（参考訳）: ソフトウェアQ&Aに生成AIを組み込む準備はできているか?
- Authors: Bowen Xu, Thanh-Dat Nguyen, Thanh Le-Cong, Thong Hoang, Jiakun Liu,
Kisub Kim, Chen Gong, Changan Niu, Chenyu Wang, Bach Le, David Lo
- Abstract要約: 世界最大のソフトウェアQ&A(SQA)WebサイトであるStack Overflowは、生成AI技術の出現により、トラフィックの大幅な減少に直面している。
ChatGPTは、Stack Overflowのリリースからわずか6日後に禁止される。
これを検証するために、我々は人書きとChatGPT生成の回答の比較評価を行った。
- 参考スコア（独自算出の注目度）: 25.749110480727765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stack Overflow, the world's largest software Q&A (SQA) website, is facing a
significant traffic drop due to the emergence of generative AI techniques.
ChatGPT is banned by Stack Overflow after only 6 days from its release. The
main reason provided by the official Stack Overflow is that the answers
generated by ChatGPT are of low quality. To verify this, we conduct a
comparative evaluation of human-written and ChatGPT-generated answers. Our
methodology employs both automatic comparison and a manual study. Our results
suggest that human-written and ChatGPT-generated answers are semantically
similar, however, human-written answers outperform ChatGPT-generated ones
consistently across multiple aspects, specifically by 10% on the overall score.
We release the data, analysis scripts, and detailed results at
https://anonymous.4open.science/r/GAI4SQA-FD5C.
- Abstract（参考訳）: 世界最大のソフトウェアQ&A(SQA)WebサイトであるStack Overflowは、生成AI技術の出現により、トラフィックの大幅な減少に直面している。
ChatGPTは、Stack Overflowのリリースからわずか6日後に禁止される。
公式のStack Overflowが提供する主な理由は、ChatGPTが生成した回答が低品質であることである。
これを検証するために、我々は人書きとChatGPT生成の回答の比較評価を行った。
我々の手法は自動比較と手作業による研究の両方を用いる。
以上の結果から,人書きとチャットGPT生成の解答は意味論的に類似していると考えられるが,人書きの解答はChatGPT生成の解答を複数の面,特に総合的な点において一貫して上回っている。
データ、分析スクリプト、詳細な結果をhttps://anonymous.4open.science/r/gai4sqa-fd5cで公開します。
関連論文リスト
- An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning? [0.6749750044497732]
ChatGPTは、Stack Overflowのようなコミュニティの質問に答えるプラットフォームに対して、ソフトウェアエンジニアにインタラクティブな代替手段を提供する。
私たちは、2022年1月から2022年12月までに質問されたStackOverflowから、2564のPythonとJavaScriptの質問を分析しました。
分析の結果,ChatGPTの回答は66%短く,質問に対して35%の回答が得られた。
論文 参考訳（メタデータ） (2024-09-26T02:17:30Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - An empirical study of ChatGPT-3.5 on question answering and code
maintenance [14.028497274245227]
ChatGPTがプログラマを置き換え、ジョブを廃止するかどうかという懸念が高まっている。
そこで我々は,ChatGPTとプログラマの質問応答とソフトウェア保守を系統的に比較するための実証的研究を行った。
論文 参考訳（メタデータ） (2023-10-03T14:48:32Z) - From Mundane to Meaningful: AI's Influence on Work Dynamics -- evidence
from ChatGPT and Stack Overflow [0.0]
私たちはChatGPTがコーディングの基本的な側面、すなわち問題解決をどう変えたかを探る。
私たちは、2022年11月30日のChatGPTの突然のリリースが、プログラマにとって最大のオンラインコミュニティであるStack Overflowの利用に与える影響を利用しています。
論文 参考訳（メタデータ） (2023-08-22T09:30:02Z) - Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of
ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。
また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。
分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
論文 参考訳（メタデータ） (2023-08-04T13:23:20Z) - Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete? [1.231476564107544]
ChatGPTはコードの生成や開発者の質問に対する応答の代替手段として使用されている。
以上の結果から,プライバシ関連の質問の多くは,選択/同意,集約,識別に関連があることが示唆された。
論文 参考訳（メタデータ） (2023-06-19T21:33:04Z) - Chatbots put to the test in math and logic problems: A preliminary
comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。
回答は記録され、議論され、その強みと弱点を強調します。
その結果,ChatGPT-4はChatGPT-3.5より優れていた。
論文 参考訳（メタデータ） (2023-05-30T11:18:05Z) - One Small Step for Generative AI, One Giant Leap for AGI: A Complete
Survey on ChatGPT in AIGC Era [95.2284704286191]
GPT-4(別名ChatGPT Plus)は、生成型AI(GAI)の1つの小さなステップであるが、人工知能(AGI)の1つの大きな飛躍である。
2022年11月に公式リリースされて以来、ChatGPTは急速に多くのユーザーを惹きつけてきた。
この研究は、ChatGPTを基盤技術、アプリケーション、課題に関する包括的なレビューで調査した初めてのものである。
論文 参考訳（メタデータ） (2023-04-04T06:22:09Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to
GPT-5 All You Need? [112.12974778019304]
生成AI(AIGC、つまりAI生成コンテンツ)は、テキスト、画像、その他を分析、作成する能力により、あらゆる場所で話題を呼んだ。
純粋な分析から創造へと移行するAIの時代において、ChatGPTは最新の言語モデルであるGPT-4とともに、多くのAIGCタスクからなるツールである。
本研究は,テキスト,画像,ビデオ,3Dコンテンツなど,出力タイプに基づいたAIGCタスクの技術的開発に焦点を当てている。
論文 参考訳（メタデータ） (2023-03-21T10:09:47Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。