論文の概要: How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection
- arxiv url: http://arxiv.org/abs/2301.07597v1
- Date: Wed, 18 Jan 2023 15:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:33:30.597193
- Title: How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection
- Title（参考訳）: チャットGPTはいかに人間専門家に近づいたか?
比較コーパス、評価、および検出
- Authors: Biyang Guo, Xin Zhang, Ziyuan Wang, Minqi Jiang, Jinran Nie, Yuxuan
Ding, Jianwei Yue, Yupeng Wu
- Abstract要約: ChatGPTは、幅広い人間の質問に効果的に反応できる。
人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。
本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
- 参考スコア（独自算出の注目度）: 8.107721810172112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The introduction of ChatGPT has garnered widespread attention in both
academic and industrial communities. ChatGPT is able to respond effectively to
a wide range of human questions, providing fluent and comprehensive answers
that significantly surpass previous public chatbots in terms of security and
usefulness. On one hand, people are curious about how ChatGPT is able to
achieve such strength and how far it is from human experts. On the other hand,
people are starting to worry about the potential negative impacts that large
language models (LLMs) like ChatGPT could have on society, such as fake news,
plagiarism, and social security issues. In this work, we collected tens of
thousands of comparison responses from both human experts and ChatGPT, with
questions ranging from open-domain, financial, medical, legal, and
psychological areas. We call the collected dataset the Human ChatGPT Comparison
Corpus (HC3). Based on the HC3 dataset, we study the characteristics of
ChatGPT's responses, the differences and gaps from human experts, and future
directions for LLMs. We conducted comprehensive human evaluations and
linguistic analyses of ChatGPT-generated content compared with that of humans,
where many interesting results are revealed. After that, we conduct extensive
experiments on how to effectively detect whether a certain text is generated by
ChatGPT or humans. We build three different detection systems, explore several
key factors that influence their effectiveness, and evaluate them in different
scenarios. The dataset, code, and models are all publicly available at
https://github.com/Hello-SimpleAI/chatgpt-comparison-detection.
- Abstract（参考訳）: ChatGPTの導入は、学術コミュニティと産業コミュニティの両方で広く注目を集めている。
ChatGPTは、幅広い人間の質問に効果的に対応でき、セキュリティと有用性の観点から、従来の公開チャットボットを大幅に上回る、流動的で包括的な回答を提供する。
一方の人々は、ChatGPTがこのような強みをいかに達成できるか、そして人間の専門家からの距離について興味を持っている。
一方、人々は、ChatGPTのような大きな言語モデル(LLM)が偽ニュース、盗作、社会保障問題といった社会にもたらす潜在的なネガティブな影響を懸念し始めている。
本研究では、オープンドメイン、ファイナンシャル、医療、法的、心理的分野の質問に対して、人間の専門家とChatGPTから数万件の比較回答を収集した。
収集したデータセットをHuman ChatGPT Comparison Corpus (HC3)と呼ぶ。
HC3データセットに基づいて,ChatGPTの応答特性,人間専門家の違いとギャップ,LLMの今後の方向性について検討した。
本研究は,ChatGPT生成内容の総合的評価と言語学的分析を行い,多くの興味深い結果が得られた。
その後、ChatGPTや人間によって特定のテキストが生成されるかどうかを効果的に検出する方法に関する広範な実験を行う。
3つの異なる検出システムを構築し,その有効性に影響を与えるいくつかの重要な要因を探索し,異なるシナリオで評価する。
データセット、コード、モデルはすべてhttps://github.com/Hello-SimpleAI/chatgpt-comparison-detectionで公開されている。
関連論文リスト
- The political ideology of conversational AI: Converging evidence on
ChatGPT's pro-environmental, left-libertarian orientation [0.0]
OpenAIは、最先端の対話モデルであるChatGPTを導入した。
本稿では,民主社会の最も重要な意思決定プロセスである政治選挙に焦点を当てる。
われわれはChatGPTの環境的、左自由主義的イデオロギーを明らかにする。
論文 参考訳（メタデータ） (2023-01-05T07:13:13Z) - ChatGPT: The End of Online Exam Integrity? [0.0]
本研究では,最近開発された人工知能(AI)エージェントであるChatGPTの高レベル認知タスクの実行能力を評価した。
オンライン試験における学術的不正行為のツールとしてChatGPTが使われる可能性への懸念が高まっている。
論文 参考訳（メタデータ） (2022-12-19T08:15:16Z) - "I think this is the most disruptive technology": Exploring Sentiments
of ChatGPT Early Adopters using Twitter Data [0.0]
初期のChatGPTユーザーのツイート10,732件を用いて混合手法による調査を行った。
アーリーアダプターの大多数は、ソフトウェア開発への混乱、エンターテイメント、創造性の行使といったトピックに関する圧倒的な肯定的な感情を表明している。
ChatGPTの誤用の可能性などに関して懸念を表明しているのは、ごく一部のユーザだけだった。
論文 参考訳（メタデータ） (2022-12-12T12:41:24Z) - Knowledge-Grounded Conversational Data Augmentation with Generative
Conversational Networks [76.11480953550013]
生成会話ネットワークを用いて会話データを自動的に生成する。
我々は、Topical Chatデータセット上で、知識のない会話に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-07-22T22:37:14Z) - A Deep Learning Approach to Integrate Human-Level Understanding in a
Chatbot [0.4632366780742501]
人間とは異なり、チャットボットは一度に複数の顧客にサービスを提供し、24/7で提供され、1秒以内で返信できる。
深層学習を用いて感情分析,感情検出,意図分類,名義認識を行い,人文的理解と知性を備えたチャットボットを開発した。
論文 参考訳（メタデータ） (2021-12-31T22:26:41Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-15T21:46:39Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - Can You be More Social? Injecting Politeness and Positivity into
Task-Oriented Conversational Agents [60.27066549589362]
人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。
このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。
人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
論文 参考訳（メタデータ） (2020-12-29T08:22:48Z) - TextHide: Tackling Data Privacy in Language Understanding Tasks [54.11691303032022]
TextHideは、トレーニングを遅くしたり、精度を下げることなく、プライバシー上のリスクを軽減する。
すべての参加者は、盗聴攻撃者がプライベートテキストデータを復元するのを防ぐために、簡単な暗号化ステップを追加する必要がある。
我々は、GLUEベンチマーク上でTextHideを評価し、TextHideが共有勾配や表現に対する攻撃を効果的に防御できることを示す。
論文 参考訳（メタデータ） (2020-10-12T22:22:15Z) - Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset
for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。
参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。
データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文 参考訳（メタデータ） (2020-08-31T17:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。