論文の概要: Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
- arxiv url: http://arxiv.org/abs/2306.11174v1
- Date: Mon, 19 Jun 2023 21:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 16:08:51.517161
- Title: Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
- Title(参考訳): stack overflowによるプライバシー問題の評価:chatgptは競合できるか?
- Authors: Zack Delile, Sean Radel, Joe Godinez, Garrett Engstrom, Theo Brucker,
Kenzie Young, Sepideh Ghanavati
- Abstract要約: ChatGPTはコードの生成や開発者の質問に対する応答の代替手段として使用されている。
以上の結果から,プライバシ関連の質問の多くは,選択/同意,集約,識別に関連があることが示唆された。
- 参考スコア(独自算出の注目度): 1.231476564107544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stack Overflow and other similar forums are used commonly by developers to
seek answers for their software development as well as privacy-related
concerns. Recently, ChatGPT has been used as an alternative to generate code or
produce responses to developers' questions. In this paper, we aim to understand
developers' privacy challenges by evaluating the types of privacy-related
questions asked on Stack Overflow. We then conduct a comparative analysis
between the accepted responses given by Stack Overflow users and the responses
produced by ChatGPT for those extracted questions to identify if ChatGPT could
serve as a viable alternative. Our results show that most privacy-related
questions are related to choice/consent, aggregation, and identification.
Furthermore, our findings illustrate that ChatGPT generates similarly correct
responses for about 56% of questions, while for the rest of the responses, the
answers from Stack Overflow are slightly more accurate than ChatGPT.
- Abstract(参考訳): stack overflowなど同様のフォーラムは、開発者がソフトウェア開発やプライバシ関連の懸念に対して回答を求めるために一般的に使用されている。
近年、ChatGPTはコードの生成や開発者の質問に対する応答の代替手段として使用されている。
本稿では,Stack Overflowで質問されたプライバシーに関する質問の種類を評価することで,開発者のプライバシー問題を理解することを目的とする。
次に,stack overflowユーザから受け取られた応答とチャットgptが生成する応答の比較分析を行い,チャットgptが有効な代替手段となるかどうかを判断する。
その結果,プライバシ関連の質問の多くは選択/一致,集約,識別に関係していることがわかった。
さらに,この結果から,ChatGPTが約56%の質問に対して同様に正しい回答を生成するのに対し,Stack Overflowの回答はChatGPTよりもわずかに正確であることがわかった。
関連論文リスト
- An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning? [0.6749750044497732]
ChatGPTは、Stack Overflowのようなコミュニティの質問に答えるプラットフォームに対して、ソフトウェアエンジニアにインタラクティブな代替手段を提供する。
私たちは、2022年1月から2022年12月までに質問されたStackOverflowから、2564のPythonとJavaScriptの質問を分析しました。
分析の結果,ChatGPTの回答は66%短く,質問に対して35%の回答が得られた。
論文 参考訳(メタデータ) (2024-09-26T02:17:30Z) - Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。
質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
論文 参考訳(メタデータ) (2024-04-16T21:33:05Z) - ChatGPT Incorrectness Detection in Software Reviews [0.38233569758620056]
そこで我々は,ChatGPT応答における誤りを自動的に検出するCID(ChatGPT Incorrectness Detector)というツールを開発した。
ライブラリ選択のベンチマーク研究において、CIDはF1スコア0.74~0.75でChatGPTからの誤った応答を検出できることを示した。
論文 参考訳(メタデータ) (2024-03-25T00:50:27Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳(メタデータ) (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳(メタデータ) (2023-10-20T00:37:28Z) - An empirical study of ChatGPT-3.5 on question answering and code
maintenance [14.028497274245227]
ChatGPTがプログラマを置き換え、ジョブを廃止するかどうかという懸念が高まっている。
そこで我々は,ChatGPTとプログラマの質問応答とソフトウェア保守を系統的に比較するための実証的研究を行った。
論文 参考訳(メタデータ) (2023-10-03T14:48:32Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳(メタデータ) (2023-08-16T20:23:16Z) - Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of
ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。
また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。
分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
論文 参考訳(メタデータ) (2023-08-04T13:23:20Z) - Are We Ready to Embrace Generative AI for Software Q&A? [25.749110480727765]
世界最大のソフトウェアQ&A(SQA)WebサイトであるStack Overflowは、生成AI技術の出現により、トラフィックの大幅な減少に直面している。
ChatGPTは、Stack Overflowのリリースからわずか6日後に禁止される。
これを検証するために、我々は人書きとChatGPT生成の回答の比較評価を行った。
論文 参考訳(メタデータ) (2023-07-19T05:54:43Z) - ChatGPT for Us: Preserving Data Privacy in ChatGPT via Dialogue Text
Ambiguation to Expand Mental Health Care Delivery [52.73936514734762]
ChatGPTは人間のような対話を生成する能力で人気を集めている。
データに敏感なドメインは、プライバシとデータ所有に関する懸念から、ChatGPTを使用する際の課題に直面している。
ユーザのプライバシーを守るためのテキスト曖昧化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-19T02:09:52Z) - ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。
特にChatGPTは,広く利用されており,アクセスしやすいLLMである。
我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
論文 参考訳(メタデータ) (2023-03-29T03:05:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。