論文の概要: ChatGPT and U(X): A Rapid Review on Measuring the User Experience
- arxiv url: http://arxiv.org/abs/2503.15808v1
- Date: Thu, 20 Mar 2025 02:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 15:30:52.234066
- Title: ChatGPT and U(X): A Rapid Review on Measuring the User Experience
- Title（参考訳）: ChatGPTとU(X): ユーザエクスペリエンスの迅速評価
- Authors: Katie Seaborn,
- Abstract要約: 研究者や実践者がChatGPTや同様のLCMベースのシステムとのユーザインタラクションを最適化する上で,ChatGPT UXの領域を拡大することを目指しています。
私は、操作した独立変数(IVs)、測定した依存変数(DVs)、測定に用いる方法に焦点を当てた。
- 参考スコア（独自算出の注目度）: 33.39817542425524
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: ChatGPT, powered by a large language model (LLM), has revolutionized everyday human-computer interaction (HCI) since its 2022 release. While now used by millions around the world, a coherent pathway for evaluating the user experience (UX) ChatGPT offers remains missing. In this rapid review (N = 58), I explored how ChatGPT UX has been approached quantitatively so far. I focused on the independent variables (IVs) manipulated, the dependent variables (DVs) measured, and the methods used for measurement. Findings reveal trends, gaps, and emerging consensus in UX assessments. This work offers a first step towards synthesizing existing approaches to measuring ChatGPT UX, urgent trajectories to advance standardization and breadth, and two preliminary frameworks aimed at guiding future research and tool development. I seek to elevate the field of ChatGPT UX by empowering researchers and practitioners in optimizing user interactions with ChatGPT and similar LLM-based systems.
- Abstract（参考訳）: 大型言語モデル(LLM)を搭載したChatGPTは、2022年のリリース以来、日々のヒューマンコンピュータインタラクション(HCI)に革命をもたらした。
現在、世界中の数百万人が使用しているが、ユーザエクスペリエンス(UX)のChatGPTを評価するための一貫性のあるパスはいまだに欠落している。
この素早いレビュー(N = 58)で、これまでChatGPT UXがどのように定量的にアプローチされてきたかを調べた。
私は、操作した独立変数(IVs)、測定した依存変数(DVs)、測定に用いる方法に焦点を当てた。
発見はUXアセスメントにおけるトレンド、ギャップ、新たなコンセンサスを明らかにします。
この研究は、ChatGPT UX測定に対する既存のアプローチの合成への第一歩、標準化と広範化を急務に進めるための軌道、そして将来の研究とツール開発を導くための2つの予備的なフレームワークを提供する。
研究者や実践者がChatGPTや同様のLCMベースのシステムとのユーザインタラクションを最適化する上で,ChatGPT UXの領域を拡大することを目指しています。
関連論文リスト
- User Experience Estimation in Human-Robot Interaction Via Multi-Instance Learning of Multimodal Social Signals [2.7138092972120766]
本研究では,マルチモーダルな社会信号を利用したヒューマンロボットインタラクション(HRI)のUX推定手法を提案する。
時間的観測に依存する従来のモデルとは異なり、我々のアプローチは短期と長期の両方の相互作用パターンをキャプチャする。
実験結果から,UX推定において,本手法は第三者による評価よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-07-31T13:34:15Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - AIvaluateXR: An Evaluation Framework for on-Device AI in XR with Benchmarking Results [55.33807002543901]
我々は,XRデバイス上で動作する大規模言語モデル(LLM)をベンチマークするための総合評価フレームワークであるAIvaluateXRを提案する。
我々はMagic Leap 2、Meta Quest 3、Vivo X100s Pro、Apple Vision Proという4つのXRプラットフォームに17個の選択されたLSMをデプロイし、広範囲な評価を行います。
本稿では,3次元最適性理論に基づく統一評価手法を提案する。
論文 参考訳（メタデータ） (2025-02-13T20:55:48Z) - Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。
以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - Can You Follow Me? Testing Situational Understanding in ChatGPT [17.52769657390388]
situational understanding (SU)は、人間のようなAIエージェントにとって重要な能力である。
チャット指向モデルにおけるSUテストのための新しい合成環境を提案する。
タスクの基本的な単純さにもかかわらず、モデルの性能は正しい環境状態を維持することができないことを反映している。
論文 参考訳（メタデータ） (2023-10-24T19:22:01Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。