論文の概要: Predicting respondent difficulty in web surveys: A machine-learning
approach based on mouse movement features
- arxiv url: http://arxiv.org/abs/2011.06916v1
- Date: Thu, 5 Nov 2020 10:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:58:54.649179
- Title: Predicting respondent difficulty in web surveys: A machine-learning
approach based on mouse movement features
- Title(参考訳): Web調査における応答困難度予測:マウス運動特徴に基づく機械学習アプローチ
- Authors: Amanda Fern\'andez-Fontelo, Pascal J. Kieslich, Felix Henninger,
Frauke Kreuter and Sonja Greven
- Abstract要約: 本稿では,マウス追跡データの予測値について,回答者の難易度について検討する。
我々は、回答者の就業履歴と人口統計情報に関する調査データを用いている。
そこで,本研究では,基本マウスの行動を調整するパーソナライズ手法を開発し,その性能を評価する。
- 参考スコア(独自算出の注目度): 3.6944296923226316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central goal of survey research is to collect robust and reliable data from
respondents. However, despite researchers' best efforts in designing
questionnaires, respondents may experience difficulty understanding questions'
intent and therefore may struggle to respond appropriately. If it were possible
to detect such difficulty, this knowledge could be used to inform real-time
interventions through responsive questionnaire design, or to indicate and
correct measurement error after the fact. Previous research in the context of
web surveys has used paradata, specifically response times, to detect
difficulties and to help improve user experience and data quality. However,
richer data sources are now available, in the form of the movements respondents
make with the mouse, as an additional and far more detailed indicator for the
respondent-survey interaction. This paper uses machine learning techniques to
explore the predictive value of mouse-tracking data with regard to respondents'
difficulty. We use data from a survey on respondents' employment history and
demographic information, in which we experimentally manipulate the difficulty
of several questions. Using features derived from the cursor movements, we
predict whether respondents answered the easy or difficult version of a
question, using and comparing several state-of-the-art supervised learning
methods. In addition, we develop a personalization method that adjusts for
respondents' baseline mouse behavior and evaluate its performance. For all
three manipulated survey questions, we find that including the full set of
mouse movement features improved prediction performance over response-time-only
models in nested cross-validation. Accounting for individual differences in
mouse movements led to further improvements.
- Abstract(参考訳): 調査研究の中心的な目標は、回答者から堅牢で信頼性の高いデータを集めることである。
しかし、研究者がアンケートの設計に最善を尽くしているにもかかわらず、回答者は質問の意図を理解するのに苦労し、適切な回答に苦慮することがある。
このような難易度を検出することができれば、応答性のあるアンケート設計を通じてリアルタイムな介入を通知したり、事実の後に測定誤差を指示し修正したりすることができる。
ウェブ調査の文脈におけるこれまでの研究は、パラデータ、特に応答時間を用いて困難を検出し、ユーザーエクスペリエンスとデータ品質を改善するのに役立ててきた。
しかし、よりリッチなデータソースが利用可能となり、回答者がマウスで行う動きの形で、応答-サーベイ相互作用のさらに詳細な指標として利用できるようになった。
本稿では,機械学習を用いて,マウス追跡データの難易度に関する予測値について検討する。
我々は,雇用履歴と人口統計情報に関する調査から得られたデータを用いて,いくつかの質問の難しさを実験的に操作する。
カーソルの動きから得られる特徴を用いて、回答者が質問の易解か難解なバージョンに答えたかどうかを予測し、いくつかの最先端の教師あり学習手法を用いて比較した。
さらに,本研究は,回答者のベースラインマウス行動を調整するパーソナライズ手法を開発し,その性能を評価する。
操作された3つの調査質問に対して、マウスの動きの完全なセットを含むと、ネストしたクロスバリデーションにおける応答時間のみのモデルよりも予測性能が向上することがわかった。
マウスの動きの個体差についての説明は更なる改善につながった。
関連論文リスト
- Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳(メタデータ) (2024-02-22T04:14:10Z) - Spurious Correlations in Machine Learning: A Survey [69.89249134046086]
機械学習システムは、入力の偏りのある特徴と対応するラベルの間の急激な相関に敏感である。
これらの特徴とそのラベルとの相関は"spurious"として知られている。
我々は、機械学習モデルにおける素早い相関に対処する現在の最先端の手法の分類とともに、この問題を包括的にレビューする。
論文 参考訳(メタデータ) (2024-02-20T04:49:34Z) - Continually Improving Extractive QA via Human Feedback [59.49549491725224]
本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
論文 参考訳(メタデータ) (2023-05-21T14:35:32Z) - Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled
Datasets [73.2096288987301]
オフラインでラベル付けされていないデータセットから、少量のダウンストリーム専門家データを用いて、関連する振る舞いを選択的にクエリする簡単なアプローチを提案する。
提案手法では,タスクへの関連する遷移のみを問合せし,サブ最適データやタスク非関連データをフィルタリングする。
我々の単純なクエリ手法は、画像からシミュレーションされた実際のロボット操作タスクに対して、より複雑な目標条件の手法よりも20%優れています。
論文 参考訳(メタデータ) (2023-04-18T05:42:53Z) - Classification ensembles for multivariate functional data with
application to mouse movements in web surveys [3.6944296923226316]
弱学習者の組み合わせとして多変量関数型データ分類のための新しいアンサンブルモデルを提案する。
本研究では,これらのアンサンブルモデルを用いて,調査データの質向上を目的としたアンケート調査を行った。
論文 参考訳(メタデータ) (2022-05-26T14:12:24Z) - Open vs Closed-ended questions in attitudinal surveys -- comparing,
combining, and interpreting using natural language processing [3.867363075280544]
トピックモデリングは、オープンな応答から情報を抽出する時間を著しく短縮する可能性がある。
本研究はトピックモデリングを用いて,オープンエンド質問から情報を抽出し,その性能をクローズドエンド応答と比較する。
論文 参考訳(メタデータ) (2022-05-03T06:01:03Z) - Question Answering Survey: Directions, Challenges, Datasets, Evaluation
Matrices [0.0]
QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。
これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
論文 参考訳(メタデータ) (2021-12-07T08:53:40Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳(メタデータ) (2020-06-13T07:02:08Z) - Validating psychometric survey responses [0.0]
本稿では,機械学習技術を用いて,調査回答におけるユーザの妥当性を分類する手法を提案する。
本手法は,Webサーベイにおけるユーザマウスの活動の収集と,特定の回答を分析せずに調査の妥当性の予測を高速化することに基づいている。
論文 参考訳(メタデータ) (2020-06-08T14:33:10Z) - Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。
このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。
コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
論文 参考訳(メタデータ) (2020-03-13T11:34:29Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。