論文の概要: Predicting respondent difficulty in web surveys: A machine-learning
approach based on mouse movement features
- arxiv url: http://arxiv.org/abs/2011.06916v1
- Date: Thu, 5 Nov 2020 10:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:58:54.649179
- Title: Predicting respondent difficulty in web surveys: A machine-learning
approach based on mouse movement features
- Title（参考訳）: Web調査における応答困難度予測:マウス運動特徴に基づく機械学習アプローチ
- Authors: Amanda Fern\'andez-Fontelo, Pascal J. Kieslich, Felix Henninger,
Frauke Kreuter and Sonja Greven
- Abstract要約: 本稿では,マウス追跡データの予測値について,回答者の難易度について検討する。
我々は、回答者の就業履歴と人口統計情報に関する調査データを用いている。
そこで,本研究では,基本マウスの行動を調整するパーソナライズ手法を開発し,その性能を評価する。
- 参考スコア（独自算出の注目度）: 3.6944296923226316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central goal of survey research is to collect robust and reliable data from
respondents. However, despite researchers' best efforts in designing
questionnaires, respondents may experience difficulty understanding questions'
intent and therefore may struggle to respond appropriately. If it were possible
to detect such difficulty, this knowledge could be used to inform real-time
interventions through responsive questionnaire design, or to indicate and
correct measurement error after the fact. Previous research in the context of
web surveys has used paradata, specifically response times, to detect
difficulties and to help improve user experience and data quality. However,
richer data sources are now available, in the form of the movements respondents
make with the mouse, as an additional and far more detailed indicator for the
respondent-survey interaction. This paper uses machine learning techniques to
explore the predictive value of mouse-tracking data with regard to respondents'
difficulty. We use data from a survey on respondents' employment history and
demographic information, in which we experimentally manipulate the difficulty
of several questions. Using features derived from the cursor movements, we
predict whether respondents answered the easy or difficult version of a
question, using and comparing several state-of-the-art supervised learning
methods. In addition, we develop a personalization method that adjusts for
respondents' baseline mouse behavior and evaluate its performance. For all
three manipulated survey questions, we find that including the full set of
mouse movement features improved prediction performance over response-time-only
models in nested cross-validation. Accounting for individual differences in
mouse movements led to further improvements.
- Abstract（参考訳）: 調査研究の中心的な目標は、回答者から堅牢で信頼性の高いデータを集めることである。
しかし、研究者がアンケートの設計に最善を尽くしているにもかかわらず、回答者は質問の意図を理解するのに苦労し、適切な回答に苦慮することがある。
このような難易度を検出することができれば、応答性のあるアンケート設計を通じてリアルタイムな介入を通知したり、事実の後に測定誤差を指示し修正したりすることができる。
ウェブ調査の文脈におけるこれまでの研究は、パラデータ、特に応答時間を用いて困難を検出し、ユーザーエクスペリエンスとデータ品質を改善するのに役立ててきた。
しかし、よりリッチなデータソースが利用可能となり、回答者がマウスで行う動きの形で、応答-サーベイ相互作用のさらに詳細な指標として利用できるようになった。
本稿では,機械学習を用いて,マウス追跡データの難易度に関する予測値について検討する。
我々は,雇用履歴と人口統計情報に関する調査から得られたデータを用いて,いくつかの質問の難しさを実験的に操作する。
カーソルの動きから得られる特徴を用いて、回答者が質問の易解か難解なバージョンに答えたかどうかを予測し、いくつかの最先端の教師あり学習手法を用いて比較した。
さらに,本研究は,回答者のベースラインマウス行動を調整するパーソナライズ手法を開発し,その性能を評価する。
操作された3つの調査質問に対して、マウスの動きの完全なセットを含むと、ネストしたクロスバリデーションにおける応答時間のみのモデルよりも予測性能が向上することがわかった。
マウスの動きの個体差についての説明は更なる改善につながった。
関連論文リスト
- Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking? [13.790574266700006]
対話型情報検索システムにおける応答生成の限界について検討する。
本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。
分析の結果,クエリ応答性よりも応答不完全性の検出が容易であることが判明した。
論文 参考訳（メタデータ） (2024-10-28T20:55:00Z) - Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。
また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
論文 参考訳（メタデータ） (2024-05-13T14:44:22Z) - Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - Continually Improving Extractive QA via Human Feedback [59.49549491725224]
本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
論文 参考訳（メタデータ） (2023-05-21T14:35:32Z) - Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled
Datasets [73.2096288987301]
オフラインでラベル付けされていないデータセットから、少量のダウンストリーム専門家データを用いて、関連する振る舞いを選択的にクエリする簡単なアプローチを提案する。
提案手法では,タスクへの関連する遷移のみを問合せし,サブ最適データやタスク非関連データをフィルタリングする。
我々の単純なクエリ手法は、画像からシミュレーションされた実際のロボット操作タスクに対して、より複雑な目標条件の手法よりも20%優れています。
論文 参考訳（メタデータ） (2023-04-18T05:42:53Z) - When Respondents Don't Care Anymore: Identifying the Onset of Careless Responding [0.0]
本稿では,各参加者に対する不注意応答の開始を同定する新しい手法を提案する。
これは、不注意が現れる可能性のある複数の次元の複合的な測定に基づいている。
非常に柔軟で、機械学習に基づいており、その性能に関する統計的保証を提供する。
論文 参考訳（メタデータ） (2023-03-13T15:10:30Z) - Classification ensembles for multivariate functional data with
application to mouse movements in web surveys [3.6944296923226316]
弱学習者の組み合わせとして多変量関数型データ分類のための新しいアンサンブルモデルを提案する。
本研究では,これらのアンサンブルモデルを用いて,調査データの質向上を目的としたアンケート調査を行った。
論文 参考訳（メタデータ） (2022-05-26T14:12:24Z) - Open vs Closed-ended questions in attitudinal surveys -- comparing,
combining, and interpreting using natural language processing [3.867363075280544]
トピックモデリングは、オープンな応答から情報を抽出する時間を著しく短縮する可能性がある。
本研究はトピックモデリングを用いて,オープンエンド質問から情報を抽出し,その性能をクローズドエンド応答と比較する。
論文 参考訳（メタデータ） (2022-05-03T06:01:03Z) - Question Answering Survey: Directions, Challenges, Datasets, Evaluation
Matrices [0.0]
QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。
これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
論文 参考訳（メタデータ） (2021-12-07T08:53:40Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳（メタデータ） (2020-06-13T07:02:08Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳（メタデータ） (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。