論文の概要: ChatGPT vs. Google: A Comparative Study of Search Performance and User
Experience
- arxiv url: http://arxiv.org/abs/2307.01135v1
- Date: Mon, 3 Jul 2023 16:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 12:20:34.684652
- Title: ChatGPT vs. Google: A Comparative Study of Search Performance and User
Experience
- Title（参考訳）: chatgpt vs. google: 検索のパフォーマンスとユーザエクスペリエンスの比較研究
- Authors: Ruiyun Xu (Rayna), Yue Feng (Katherine), and Hailiang Chen
- Abstract要約: 本稿では,情報検索タスクに検索エンジンとChatGPTツールを用いた場合のユーザ行動の違いについて検討する。
以上の結果から,ChatGPT群はタスク全体のパフォーマンスに有意な差はなく,全てのタスクに継続的に費やす時間が少ないことが明らかとなった。
ユーザはChatGPTのレスポンスを、Google検索と比較して情報品質が高いと認識している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of ChatGPT, a large language model-powered chatbot, has prompted
questions about its potential implications for traditional search engines. In
this study, we investigate the differences in user behavior when employing
search engines and chatbot tools for information-seeking tasks. We carry out a
randomized online experiment, dividing participants into two groups: one using
a ChatGPT-like tool and the other using a Google Search-like tool. Our findings
reveal that the ChatGPT group consistently spends less time on all tasks, with
no significant difference in overall task performance between the groups.
Notably, ChatGPT levels user search performance across different education
levels and excels in answering straightforward questions and providing general
solutions but falls short in fact-checking tasks. Users perceive ChatGPT's
responses as having higher information quality compared to Google Search,
despite displaying a similar level of trust in both tools. Furthermore,
participants using ChatGPT report significantly better user experiences in
terms of usefulness, enjoyment, and satisfaction, while perceived ease of use
remains comparable between the two tools. However, ChatGPT may also lead to
overreliance and generate or replicate misinformation, yielding inconsistent
results. Our study offers valuable insights for search engine management and
highlights opportunities for integrating chatbot technologies into search
engine designs.
- Abstract（参考訳）: 大規模な言語モデルによるチャットボットChatGPTの出現は、従来の検索エンジンにその可能性について疑問を呈している。
本研究では,情報検索タスクに検索エンジンとチャットボットツールを用いる場合のユーザの行動の違いについて検討する。
ランダムなオンライン実験を行い、参加者をChatGPTのようなツールとGoogle検索のようなツールを使って2つのグループに分けました。
以上の結果から,ChatGPT群は全タスクに連続的に費やす時間が少なく,グループ間でのタスクパフォーマンスに有意な差は認められなかった。
特にChatGPTは、さまざまな教育レベルのユーザー検索性能をレベル付けし、簡単な質問に答え、一般的なソリューションを提供するのに優れています。
ユーザーはchatgptの反応をgoogle検索に比べて情報品質が高いと認識するが、両者の信頼度は同等である。
さらに、ChatGPTの参加者は、有用性、楽しみ、満足度の観点から、ユーザエクスペリエンスを著しく改善する一方、使いやすさは両ツール間で比較できる。
しかし、ChatGPTは過度に信頼し、誤った情報を生成または複製し、一貫性のない結果をもたらす可能性がある。
本研究は、検索エンジン管理に有用な洞察を与え、チャットボット技術を検索エンジン設計に統合する機会を強調する。
関連論文リスト
- Adoption and Impact of ChatGPT in Computer Science Education: A Case Study on a Database Administration Course [0.46040036610482665]
本研究は,ChatGPTをデータベース管理学習支援ツールとして使用した37名の学生を対象に,探索的・相関研究を行った。
ChatGPTの使用と有効性は中等度であったが,学生の成績とChatGPT使用率との間には正の相関がみられた。
論文 参考訳（メタデータ） (2024-05-26T20:51:28Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - "ChatGPT, a Friend or Foe for Education?" Analyzing the User's
Perspectives on the Latest AI Chatbot Via Reddit [0.0]
この研究は、ChatGPTの教育利用に関するRedditのトップ投稿247件を分析した。
その結果,ユーザの大半が中立的な視点を採っていることがわかった。
教育におけるChatGPTの有用性については, 否定的よりも肯定的であった。
論文 参考訳（メタデータ） (2023-09-27T23:59:44Z) - Inappropriate Benefits and Identification of ChatGPT Misuse in
Programming Tests: A Controlled Experiment [0.0]
学生はChatGPTにプログラミングタスクを完了させ、ソースの適切な認識なしに他人の作業からソリューションを生成することができる。
完了時間とプログラミング性能の観点から,ChatGPTを用いた不適切なメリットを測定するための制御実験を行った。
論文 参考訳（メタデータ） (2023-08-11T06:42:29Z) - AI and Education: An Investigation into the Use of ChatGPT for Systems
Thinking [0.09618478226711495]
この研究は、ツールの異なるバージョンにわたるChatGPTの応答の正確性、有用性、信頼性を評価する。
いくつかの制限があるにもかかわらず、この研究はChatGPTがシステム思考の教育と学習に有用なツールであることを示唆している。
論文 参考訳（メタデータ） (2023-07-26T14:12:16Z) - Transformative Effects of ChatGPT on Modern Education: Emerging Era of
AI Chatbots [36.760677949631514]
ChatGPTは、大量のデータの分析に基づいて、一貫性と有用な応答を提供するためにリリースされた。
予備評価の結果,ChatGPTは財務,コーディング,数学など各分野において異なる性能を示した。
不正確なデータや偽データを生成する可能性など、その使用には明らかな欠点がある。
ChatGPTを教育のツールとして使用すれば、学術的規制と評価のプラクティスを更新する必要がある。
論文 参考訳（メタデータ） (2023-05-25T17:35:57Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。
特にChatGPTは,広く利用されており,アクセスしやすいLLMである。
我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
論文 参考訳（メタデータ） (2023-03-29T03:05:43Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。