論文の概要: How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection
- arxiv url: http://arxiv.org/abs/2301.07597v1
- Date: Wed, 18 Jan 2023 15:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:33:30.597193
- Title: How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection
- Title（参考訳）: チャットGPTはいかに人間専門家に近づいたか?
比較コーパス、評価、および検出
- Authors: Biyang Guo, Xin Zhang, Ziyuan Wang, Minqi Jiang, Jinran Nie, Yuxuan
Ding, Jianwei Yue, Yupeng Wu
- Abstract要約: ChatGPTは、幅広い人間の質問に効果的に反応できる。
人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。
本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
- 参考スコア（独自算出の注目度）: 8.107721810172112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The introduction of ChatGPT has garnered widespread attention in both
academic and industrial communities. ChatGPT is able to respond effectively to
a wide range of human questions, providing fluent and comprehensive answers
that significantly surpass previous public chatbots in terms of security and
usefulness. On one hand, people are curious about how ChatGPT is able to
achieve such strength and how far it is from human experts. On the other hand,
people are starting to worry about the potential negative impacts that large
language models (LLMs) like ChatGPT could have on society, such as fake news,
plagiarism, and social security issues. In this work, we collected tens of
thousands of comparison responses from both human experts and ChatGPT, with
questions ranging from open-domain, financial, medical, legal, and
psychological areas. We call the collected dataset the Human ChatGPT Comparison
Corpus (HC3). Based on the HC3 dataset, we study the characteristics of
ChatGPT's responses, the differences and gaps from human experts, and future
directions for LLMs. We conducted comprehensive human evaluations and
linguistic analyses of ChatGPT-generated content compared with that of humans,
where many interesting results are revealed. After that, we conduct extensive
experiments on how to effectively detect whether a certain text is generated by
ChatGPT or humans. We build three different detection systems, explore several
key factors that influence their effectiveness, and evaluate them in different
scenarios. The dataset, code, and models are all publicly available at
https://github.com/Hello-SimpleAI/chatgpt-comparison-detection.
- Abstract（参考訳）: ChatGPTの導入は、学術コミュニティと産業コミュニティの両方で広く注目を集めている。
ChatGPTは、幅広い人間の質問に効果的に対応でき、セキュリティと有用性の観点から、従来の公開チャットボットを大幅に上回る、流動的で包括的な回答を提供する。
一方の人々は、ChatGPTがこのような強みをいかに達成できるか、そして人間の専門家からの距離について興味を持っている。
一方、人々は、ChatGPTのような大きな言語モデル(LLM)が偽ニュース、盗作、社会保障問題といった社会にもたらす潜在的なネガティブな影響を懸念し始めている。
本研究では、オープンドメイン、ファイナンシャル、医療、法的、心理的分野の質問に対して、人間の専門家とChatGPTから数万件の比較回答を収集した。
収集したデータセットをHuman ChatGPT Comparison Corpus (HC3)と呼ぶ。
HC3データセットに基づいて,ChatGPTの応答特性,人間専門家の違いとギャップ,LLMの今後の方向性について検討した。
本研究は,ChatGPT生成内容の総合的評価と言語学的分析を行い,多くの興味深い結果が得られた。
その後、ChatGPTや人間によって特定のテキストが生成されるかどうかを効果的に検出する方法に関する広範な実験を行う。
3つの異なる検出システムを構築し,その有効性に影響を与えるいくつかの重要な要因を探索し,異なるシナリオで評価する。
データセット、コード、モデルはすべてhttps://github.com/Hello-SimpleAI/chatgpt-comparison-detectionで公開されている。
関連論文リスト
- ChatGPT and Human Synergy in Black-Box Testing: A Comparative Analysis [0.0]
ChatGPTは、一般的にヒトの参加者が作り出したものと一致するか、わずかに上回るテストケースを生成することができる。
ChatGPTが人間と協力すると、それぞれが単独で達成できるものよりも、はるかに多くのテスト視点をカバーできる。
論文 参考訳（メタデータ） (2024-01-25T03:42:17Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Comprehensive Assessment of Toxicity in ChatGPT [49.71090497696024]
本研究は,ChatGPTの毒性を指導調整データセットを用いて評価する。
創作作業のプロンプトは 有害な反応を 引き起こす確率が 2倍になる
初期の研究で設計された、故意に有害なプロンプトは、もはや有害な反応を生じさせない。
論文 参考訳（メタデータ） (2023-11-03T14:37:53Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - Can ChatGPT Reproduce Human-Generated Labels? A Study of Social
Computing Tasks [9.740764281808588]
ChatGPTは、ソーシャルコンピューティングタスクにおいて人為的なラベルアノテーションを再現する可能性がある。
姿勢検出(2x),感情分析,ヘイトスピーチ,ボット検出の5つのデータセットを抽出した。
この結果から,ChatGPTはこれらのデータアノテーションタスクを処理できる可能性を秘めていますが,いくつかの課題が残っています。
論文 参考訳（メタデータ） (2023-04-20T08:08:12Z) - ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking
about [15.19126287569545]
本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。
この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。
調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
論文 参考訳（メタデータ） (2023-04-06T18:42:47Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Let's have a chat! A Conversation with ChatGPT: Technology,
Applications, and Limitations [0.0]
Chat Generative Pre-trained Transformerは、ChatGPTとしてよく知られたもので、人間に似た文を生成し、一貫性のあるエッセイを書くことができる。
医療、教育、研究など様々な分野におけるChatGPTの応用の可能性を強調した。
有望な結果にもかかわらず、ChatGPTにはいくつかのプライバシーと倫理上の懸念がある。
論文 参考訳（メタデータ） (2023-02-27T14:26:29Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。