論文の概要: Crowdsourcing: A Framework for Usability Evaluation

• arxiv url: http://arxiv.org/abs/2408.06955v1
• Date: Tue, 13 Aug 2024 15:14:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:06:48.940750
• Title: Crowdsourcing: A Framework for Usability Evaluation
• Title（参考訳）: クラウドソーシング: ユーザビリティ評価のためのフレームワーク
• Authors: Muhammad Nasir,
• Abstract要約: 方法:現在のユーザビリティ評価研究をレビューするために,系統地図調査を行った。 複数実験を行い、初級観衆ユーザビリティインスペクタと専門家による評価をベンチマークとして比較した。 結果:本研究は,特にWebサイトにおいて,専門家評価を一般的な方法として特定した。 ケーススタディは、このフレームワークが効果的なユーザビリティ検査を可能にし、ソフトウェアの再設計が成功することを示した。
• 参考スコア（独自算出の注目度）: 0.7252027234425334
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Objective: This research explores using crowdsourcing for software usability evaluation. Background: Usability studies are essential for designing user-friendly software, but traditional methods are often costly and time-consuming. Crowdsourcing offers a quicker, cost-effective alternative for remote usability evaluation, though ensuring quality feedback remains a challenge. Method: A systematic mapping study was conducted to review current usability evaluation research. Subsequently, multi-experiments were performed, comparing novice crowd usability inspectors to experts using expert heuristic evaluation as a benchmark. These results were used to create and validate a framework for crowd usability inspection through a case study. Results: The mapping study identified expert heuristic evaluation as a prevalent method, especially for websites. Experimental findings showed that novice crowd usability inspections, guided by expert heuristics, can match experts in identifying usability issues in content, quality, severity, and time efficiency. The case study demonstrated that the framework allows effective usability inspections, leading to successful software redesigns. Iterations of 3-5 novice inspections effectively resolved key usability issues within three cycles. Conclusion: Crowdsourcing is an effective alternative to expert heuristic evaluation for usability assessment. The proposed framework for crowd usability inspection is a viable solution for budget-constrained software companies. Keywords: crowdsourcing, crowd usability evaluation, expert heuristic evaluation, framework.
• Abstract（参考訳）: 目的:本研究では,クラウドソーシングによるソフトウェアユーザビリティ評価について検討する。 背景: ユーザフレンドリなソフトウェア設計にはユーザビリティスタディが不可欠ですが、従来の手法はコストがかかり、時間がかかります。 クラウドソーシングは、リモートユーザビリティ評価のための、より迅速で費用効果の高い代替手段を提供するが、品質フィードバックの確保は依然として課題である。 方法:現在のユーザビリティ評価研究をレビューするために,系統地図調査を行った。 その後,複数実験を行い,初級観衆ユーザビリティインスペクタと専門家のヒューリスティック評価をベンチマークとして比較した。 これらの結果は, クラウド・ユーザビリティ・インスペクションの枠組みの作成と検証に利用された。 結果:本研究は,専門的ヒューリスティック評価を,特にWebサイトにおいて有意な方法として同定した。 実験結果から,初級観衆のユーザビリティ検査は,コンテンツ,品質,重度,時間効率などのユーザビリティの問題を特定する専門家と一致していることがわかった。 このケーススタディは、このフレームワークが効果的なユーザビリティ検査を可能にし、ソフトウェアの再設計に成功したことを実証した。 3～5回の初級検査を繰り返し、3サイクルで重要なユーザビリティの問題を効果的に解決した。 結論: クラウドソーシングは、ユーザビリティ評価のエキスパートヒューリスティック評価の効果的な代替手段である。 クラウドユーザビリティ検査のための提案されたフレームワークは、予算に制約のあるソフトウェア企業にとって実行可能なソリューションである。 キーワード:クラウドソーシング、クラウドユーザビリティ評価、エキスパートヒューリスティック評価、フレームワーク。

関連論文リスト

• Impact of Usability Mechanisms: A Family of Experiments on Efficiency, Effectiveness and User Satisfaction [0.5419296578793327]
  ベースライン実験における結果の精度と一般化を高めるために、3つの実験のファミリーを用いる。 システムのユーザビリティは, 効率, 有効性, ユーザ満足度に関して大きく向上していると考えられる。
  論文  参考訳（メタデータ） (2024-08-22T21:23:18Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Interactive Multi-Objective Evolutionary Optimization of Software Architectures [0.0]
  人間をループに入れることで、検索ベースのソフトウェアエンジニアリング分野に新たな課題がもたらされる。 本稿では,人間の判断を探索プロセスに統合するための基礎として,インタラクティブな進化的計算がいかに役立つかを考察する。
  論文  参考訳（メタデータ） (2024-01-08T19:15:40Z)
• Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
  与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。 以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。 我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2024-01-08T12:39:25Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Measuring Software Testability via Automatically Generated Test Cases [8.17364116624769]
  ソフトウェアメトリクスに基づいたテスト容易性測定のための新しい手法を提案する。 提案手法は, 自動検査生成と突然変異解析を利用して, 有効な検査症例の相対的硬度に関する証拠を定量化する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:51Z)
• The Impact of Expertise in the Loop for Exploring Machine Rationality [35.26871426747907]
  専門知識のレベルが結果の質とそれに対応する主観的満足度に与える影響を分析した。 初心者は、品質パフォーマンスのエキスパートレベルを達成できるが、より高い専門知識を持つ参加者は、より明確な選好で、より多くの最適化を行うことができた。
  論文  参考訳（メタデータ） (2023-02-11T11:53:55Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• FEBR: Expert-Based Recommendation Framework for beneficial and personalized content [77.86290991564829]
  推奨コンテンツの質を評価するための見習い学習フレームワークであるFEBR(Expert-Based Recommendation Framework)を提案する。 このフレームワークは、推奨評価環境において専門家(信頼できると仮定される)の実証された軌跡を利用して、未知のユーティリティ機能を回復する。 ユーザ関心シミュレーション環境(RecSim)によるソリューションの性能評価を行う。
  論文  参考訳（メタデータ） (2021-07-17T18:21:31Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。