論文の概要: A Linguistic Comparison between Human and ChatGPT-Generated
Conversations
- arxiv url: http://arxiv.org/abs/2401.16587v2
- Date: Fri, 2 Feb 2024 16:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 18:26:49.476868
- Title: A Linguistic Comparison between Human and ChatGPT-Generated
Conversations
- Title(参考訳): 人間とチャットGPT生成会話の言語学的比較
- Authors: Morgan Sandler, Hyesun Choung, Arun Ross, Prabu David
- Abstract要約: この研究は、ChatGPTが生成した会話と人間の会話を比較して、言語問合せと単語数分析を取り入れている。
結果は,人間の対話における多様性と信頼度は高いが,ChatGPTは社会的プロセス,分析的スタイル,認知,注意的焦点,ポジティブな感情的トーンといったカテゴリーに優れていた。
- 参考スコア(独自算出の注目度): 9.67984987091318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study explores linguistic differences between human and LLM-generated
dialogues, using 19.5K dialogues generated by ChatGPT-3.5 as a companion to the
EmpathicDialogues dataset. The research employs Linguistic Inquiry and Word
Count (LIWC) analysis, comparing ChatGPT-generated conversations with human
conversations across 118 linguistic categories. Results show greater
variability and authenticity in human dialogues, but ChatGPT excels in
categories such as social processes, analytical style, cognition, attentional
focus, and positive emotional tone, reinforcing recent findings of LLMs being
"more human than human." However, no significant difference was found in
positive or negative affect between ChatGPT and human dialogues. Classifier
analysis of dialogue embeddings indicates implicit coding of the valence of
affect despite no explicit mention of affect in the conversations. The research
also contributes a novel, companion ChatGPT-generated dataset of conversations
between two independent chatbots, which were designed to replicate a corpus of
human conversations available for open access and used widely in AI research on
language modeling. Our findings increase understanding of ChatGPT's linguistic
capabilities and inform ongoing efforts to distinguish between human and
LLM-generated text, which is critical in detecting AI-generated fakes,
misinformation, and disinformation.
- Abstract(参考訳): 本研究は,chatgpt-3.5が生成する19.5k対話をempathicdialoguesデータセットのコンパニオンとして用いた,人間とllm生成対話の言語的差異を検討する。
この研究は言語問合せと単語数(LIWC)分析を採用し、118の言語カテゴリーでChatGPTが生成した会話と人間の会話を比較した。
しかしchatgptは社会的プロセス、分析スタイル、認知、注意的焦点、ポジティブな感情的トーンといったカテゴリーに優れており、最近のllmは「人間よりも人間である」という発見を補強している。
しかし,ChatGPTとヒトの対話には有意な差は認められなかった。
ダイアログ埋め込みの分類器解析は、会話における影響の明示的な言及にもかかわらず、感情の価の暗黙的な符号化を示す。
この研究はまた、2つの独立したチャットボット間の会話の、新しい、コンパニオンチャットgptが生成したデータセットにも貢献している。
以上の結果から,ChatGPTの言語能力の理解を深め,AI生成偽造や誤情報,偽情報の検出に重要な人間とLLM生成テキストを区別するための継続的な取り組みを報告した。
関連論文リスト
- ChatGPT Role-play Dataset: Analysis of User Motives and Model Naturalness [4.564433526993029]
本研究は,ChatGPTの会話における動作を,通常とロールプレイの両方で分析することにより,異なる環境での会話においてどのように振る舞うかを検討する。
本研究は,ChatGPTと対話する際のユーザのモチベーションの多様性を強調し,人間とAIの自然な会話の微妙なダイナミクスだけでなく,人間とAIのコミュニケーションの有効性向上のための新たな手段を提供する。
論文 参考訳(メタデータ) (2024-03-26T22:01:13Z) - Troubles and Failures in Interactional Language. Towards a
Linguistically Informed Taxonomy [0.0]
本講演の目的は、人間と人工会話エージェント(CA)の相互作用の性質を理解することを目的とした、体系的な研究アジェンダを導入することである。
具体的には、人間間の会話の流れに影響を与えることが知られている言語学的に定義された変数(人間と人間の相互作用、HHI)に着目する。
論文 参考訳(メタデータ) (2023-11-13T10:24:51Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳(メタデータ) (2023-11-08T21:13:05Z) - Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into
the Morphological Capabilities of a Large Language Model [23.60677380868016]
大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。
そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。
ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
論文 参考訳(メタデータ) (2023-10-23T17:21:03Z) - BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。
そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。
GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文 参考訳(メタデータ) (2023-10-20T16:53:51Z) - Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated
Text [1.9643748953805937]
生成言語モデルは、人間が生成したように見える人工的なテキストを生成することによって、潜在的に騙される可能性がある。
この調査は、人間が生成したテキストとChatGPTを区別するために使われている現在のアプローチの概要を提供する。
論文 参考訳(メタデータ) (2023-09-14T13:05:20Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳(メタデータ) (2023-09-13T12:58:09Z) - Leveraging Large Language Models for Automated Dialogue Analysis [12.116834890063146]
本稿では,現在最先端の大規模言語モデル(LLM)であるChatGPT-3.5を用いて,実際のロボット対話における9つのカテゴリの対話行動検出を行う。
以上の結果から, 特殊モデルもChatGPTもこの課題に満足できない結果が得られず, 人的性能に乏しいことが判明した。
論文 参考訳(メタデータ) (2023-09-12T18:03:55Z) - A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding [55.37338324658501]
ゼロショット対話理解は、ユーザーのニーズをトレーニングデータなしで追跡できるようにすることを目的としている。
本研究では,ゼロショット対話理解タスクにおけるChatGPTの理解能力について検討する。
論文 参考訳(メタデータ) (2023-04-09T15:28:36Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-04T03:04:28Z) - PLACES: Prompting Language Models for Social Conversation Synthesis [103.94325597273316]
我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。
人工会話の徹底的な評価を,人間による会話と比較して行った。
論文 参考訳(メタデータ) (2023-02-07T05:48:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。