論文の概要: ChatGPT and U(X): A Rapid Review on Measuring the User Experience
- arxiv url: http://arxiv.org/abs/2503.15808v1
- Date: Thu, 20 Mar 2025 02:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:36:17.612629
- Title: ChatGPT and U(X): A Rapid Review on Measuring the User Experience
- Title（参考訳）: ChatGPTとU(X): ユーザエクスペリエンスの迅速評価
- Authors: Katie Seaborn,
- Abstract要約: 研究者や実践者がChatGPTや同様のLCMベースのシステムとのユーザインタラクションを最適化する上で,ChatGPT UXの領域を拡大することを目指しています。
私は、操作した独立変数(IVs)、測定した依存変数(DVs)、測定に用いる方法に焦点を当てた。
- 参考スコア（独自算出の注目度）: 33.39817542425524
- License:
- Abstract: ChatGPT, powered by a large language model (LLM), has revolutionized everyday human-computer interaction (HCI) since its 2022 release. While now used by millions around the world, a coherent pathway for evaluating the user experience (UX) ChatGPT offers remains missing. In this rapid review (N = 58), I explored how ChatGPT UX has been approached quantitatively so far. I focused on the independent variables (IVs) manipulated, the dependent variables (DVs) measured, and the methods used for measurement. Findings reveal trends, gaps, and emerging consensus in UX assessments. This work offers a first step towards synthesizing existing approaches to measuring ChatGPT UX, urgent trajectories to advance standardization and breadth, and two preliminary frameworks aimed at guiding future research and tool development. I seek to elevate the field of ChatGPT UX by empowering researchers and practitioners in optimizing user interactions with ChatGPT and similar LLM-based systems.
- Abstract（参考訳）: 大型言語モデル(LLM)を搭載したChatGPTは、2022年のリリース以来、日々のヒューマンコンピュータインタラクション(HCI)に革命をもたらした。
現在、世界中の数百万人が使用しているが、ユーザエクスペリエンス(UX)のChatGPTを評価するための一貫性のあるパスはいまだに欠落している。
この素早いレビュー(N = 58)で、これまでChatGPT UXがどのように定量的にアプローチされてきたかを調べた。
私は、操作した独立変数(IVs)、測定した依存変数(DVs)、測定に用いる方法に焦点を当てた。
発見はUXアセスメントにおけるトレンド、ギャップ、新たなコンセンサスを明らかにします。
この研究は、ChatGPT UX測定に対する既存のアプローチの合成への第一歩、標準化と広範化を急務に進めるための軌道、そして将来の研究とツール開発を導くための2つの予備的なフレームワークを提供する。
研究者や実践者がChatGPTや同様のLCMベースのシステムとのユーザインタラクションを最適化する上で,ChatGPT UXの領域を拡大することを目指しています。
関連論文リスト
- Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。
以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - Are Chatbots Reliable Text Annotators? Sometimes [0.0]
ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。
オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの欠点のない代替手段を提供する。
論文 参考訳（メタデータ） (2023-11-09T22:28:14Z) - Can You Follow Me? Testing Situational Understanding in ChatGPT [17.52769657390388]
situational understanding (SU)は、人間のようなAIエージェントにとって重要な能力である。
チャット指向モデルにおけるSUテストのための新しい合成環境を提案する。
タスクの基本的な単純さにもかかわらず、モデルの性能は正しい環境状態を維持することができないことを反映している。
論文 参考訳（メタデータ） (2023-10-24T19:22:01Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。