論文の概要: Wizard of Errors: Introducing and Evaluating Machine Learning Errors in
Wizard of Oz Studies
- arxiv url: http://arxiv.org/abs/2302.08799v1
- Date: Fri, 17 Feb 2023 10:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 15:12:21.363523
- Title: Wizard of Errors: Introducing and Evaluating Machine Learning Errors in
Wizard of Oz Studies
- Title（参考訳）: エラーの魔法:オズ研究の魔法における機械学習エラーの導入と評価
- Authors: Anniek Jansen, Sara Colombo
- Abstract要約: ユーザエクスペリエンス評価中に機械学習(ML)エラーをシミュレートするツールであるWizard of Errors(WoE)を紹介する。
デザインにおけるMLエラーを検討することの重要性を判断するために、デザイン学生とWoEを比較検討した。
本研究は,設計者による現実的な誤り表現を防止するために,いくつかの課題を特定するものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When designing Machine Learning (ML) enabled solutions, designers often need
to simulate ML behavior through the Wizard of Oz (WoZ) approach to test the
user experience before the ML model is available. Although reproducing ML
errors is essential for having a good representation, they are rarely
considered. We introduce Wizard of Errors (WoE), a tool for conducting WoZ
studies on ML-enabled solutions that allows simulating ML errors during user
experience assessment. We explored how this system can be used to simulate the
behavior of a computer vision model. We tested WoE with design students to
determine the importance of considering ML errors in design, the relevance of
using descriptive error types instead of confusion matrix, and the suitability
of manual error control in WoZ studies. Our work identifies several challenges,
which prevent realistic error representation by designers in such studies. We
discuss the implications of these findings for design.
- Abstract（参考訳）: 機械学習(ML)を有効にするソリューションを設計する場合、設計者はMLモデルが利用可能になる前にユーザエクスペリエンスをテストするために、WoZ(Wizard of Oz)アプローチを通じてMLの振る舞いをシミュレートする必要がある。
MLエラーを再現することは、優れた表現を持つことには不可欠であるが、考慮されることはほとんどない。
ユーザエクスペリエンス評価中にMLエラーをシミュレーション可能な,ML対応ソリューションに関するWoZ研究を行うツールであるWizard of Errors(WoE)を紹介した。
我々は,コンピュータビジョンモデルの動作をシミュレートするために,このシステムをいかに利用できるかを考察した。
我々は,設計におけるmlエラーの考慮の重要性,混乱行列の代わりに記述型エラー型の使用の妥当性,woz研究における手動エラー制御の適合性について,デザイン学生とwoeをテストした。
本研究は,設計者による現実的な誤り表現を防止するために,いくつかの課題を特定する。
これらの知見がデザインに与える影響について論じる。
関連論文リスト
- LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。
真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。
我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
論文 参考訳（メタデータ） (2024-10-16T06:51:09Z) - Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文 参考訳（メタデータ） (2024-06-06T17:59:56Z) - Julearn: an easy-to-use library for leakage-free evaluation and
inspection of ML models [0.23301643766310373]
我々は、Julearnの設計の背景にある理論的根拠と、その中核となる特徴を提示し、以前に公表された研究プロジェクトの3つの例を示す。
Julearnは、最も一般的なMLの落とし穴に対して、ガードを組み込んだ使いやすい環境を提供することで、機械学習の世界への参入を単純化することを目指している。
論文 参考訳（メタデータ） (2023-10-19T08:21:12Z) - FairLay-ML: Intuitive Remedies for Unfairness in Data-Driven
Social-Critical Algorithms [13.649336187121095]
この論文は、機械学習(ML)モデル説明ツールが、機械学習ベースの意思決定支援システムにおける不公平さを、レイマンが可視化し、理解し、直感的に改善できるかどうかを探求する。
この論文では、概念実証のGUIであるFairLay-MLを紹介し、最も有望なツールを統合し、MLモデルにおける不公平なロジックの直感的な説明を提供する。
論文 参考訳（メタデータ） (2023-07-11T06:05:06Z) - The challenge of reproducible ML: an empirical study on the impact of
bugs [6.862925771672299]
本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。
次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。
本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2021-09-09T01:36:39Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Towards Model-informed Precision Dosing with Expert-in-the-loop Machine
Learning [0.0]
モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。
本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。
精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-28T03:45:09Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳（メタデータ） (2020-05-17T22:59:04Z) - An Information-Theoretic Approach to Personalized Explainable Machine
Learning [92.53970625312665]
本稿では,予測とユーザ知識のための簡易確率モデルを提案する。
説明と予測の間の条件付き相互情報による説明の効果を定量化する。
論文 参考訳（メタデータ） (2020-03-01T13:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。