論文の概要: Do You Trust ChatGPT? -- Perceived Credibility of Human and AI-Generated
Content
- arxiv url: http://arxiv.org/abs/2309.02524v1
- Date: Tue, 5 Sep 2023 18:29:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 17:57:40.976686
- Title: Do You Trust ChatGPT? -- Perceived Credibility of Human and AI-Generated
Content
- Title(参考訳): ChatGPTを信頼しているか?
--人間とAIによるコンテンツの信頼性の認識
- Authors: Martin Huschens, Martin Briesch, Dominik Sobania, Franz Rothlauf
- Abstract要約: 本稿では,人文作家が生み出すコンテンツの信頼性と,大規模言語モデルが生み出すコンテンツの信頼性について考察する。
驚いたことに、私たちの結果は、ユーザインターフェースのプレゼンテーションに関わらず、参加者は同様の信頼性のレベルを考慮しがちであることを示した。
参加者はまた、人間とAIが生成したコンテンツの間の能力と信頼性に関する異なる認識を報告していない。
- 参考スコア(独自算出の注目度): 0.8602553195689513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper examines how individuals perceive the credibility of content
originating from human authors versus content generated by large language
models, like the GPT language model family that powers ChatGPT, in different
user interface versions. Surprisingly, our results demonstrate that regardless
of the user interface presentation, participants tend to attribute similar
levels of credibility. While participants also do not report any different
perceptions of competence and trustworthiness between human and AI-generated
content, they rate AI-generated content as being clearer and more engaging. The
findings from this study serve as a call for a more discerning approach to
evaluating information sources, encouraging users to exercise caution and
critical thinking when engaging with content generated by AI systems.
- Abstract(参考訳): 本稿では,ChatGPTを利用するGPT言語モデルファミリなどの大規模言語モデルが生成するコンテンツに対して,個人が人間の作者から派生したコンテンツの信頼性を異なるユーザインタフェースバージョンでどのように認識するかを検討する。
意外なことに,ユーザインターフェースのプレゼンテーションによらず,参加者は同様の信頼性のレベルを考慮しがちである。
参加者はまた、人間とAI生成コンテンツの間の能力と信頼性の異なる認識を報告していないが、AI生成コンテンツはより明確でよりエンゲージメントが高いと評価している。
この研究から得られた知見は、情報ソースを評価するためのより明確なアプローチを呼び起こすものであり、AIシステムによって生成されたコンテンツに携わる際の注意と批判的な思考をユーザーに促す。
関連論文リスト
- Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳(メタデータ) (2024-09-29T04:31:45Z) - Banal Deception Human-AI Ecosystems: A Study of People's Perceptions of LLM-generated Deceptive Behaviour [11.285775969393566]
大規模言語モデル(LLM)は、ユーザに誤った、不正確な、あるいは誤解を招く情報を提供する。
本研究は,ChatGPTが生成する騙し行動に対する人々の認識について検討する。
論文 参考訳(メタデータ) (2024-06-12T16:36:06Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳(メタデータ) (2024-05-28T22:45:28Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳(メタデータ) (2023-11-28T14:55:52Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳(メタデータ) (2023-11-08T21:13:05Z) - Perceived Trustworthiness of Natural Language Generators [0.0]
本稿は,異なるユーザが自然言語生成ツールをどのように認識し,採用しているかを理解することの課題に対処する。
また、自然言語生成ツールの利点と限界についても論じている。
この論文は、異なるユーザー特性が、機械生成テキストの品質と全体的な信頼性に対する信念をいかに形作るかに光を当てている。
論文 参考訳(メタデータ) (2023-05-29T16:09:58Z) - "HOT" ChatGPT: The promise of ChatGPT in detecting and discriminating
hateful, offensive, and toxic comments on social media [2.105577305992576]
生成AIモデルには、有害なコンテンツを理解し、検出する能力がある。
ChatGPTは人間のアノテーションと比較して約80%の精度が得られる。
論文 参考訳(メタデータ) (2023-04-20T19:40:51Z) - A Systematic Literature Review of User Trust in AI-Enabled Systems: An
HCI Perspective [0.0]
人工知能(AI)のユーザ信頼は、採用を促進する重要な要素として、ますます認識され、証明されてきている。
本総説は, ユーザ信頼の定義, 影響要因, 測定方法の概要を, 実証研究23件から明らかにすることを目的としている。
論文 参考訳(メタデータ) (2023-04-18T07:58:09Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-04T03:04:28Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳(メタデータ) (2023-03-11T01:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。