論文の概要: Simulation-Based Optimization of User Interfaces for Quality-Assuring
Machine Learning Model Predictions
- arxiv url: http://arxiv.org/abs/2104.01129v2
- Date: Thu, 31 Aug 2023 03:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 21:37:22.968215
- Title: Simulation-Based Optimization of User Interfaces for Quality-Assuring
Machine Learning Model Predictions
- Title(参考訳): 機械学習モデル予測のためのユーザインタフェースのシミュレーションに基づく最適化
- Authors: Yu Zhang and Martijn Tennekes and Tim de Jong and Lyana Curier and Bob
Coecke and Min Chen
- Abstract要約: 機械学習(ML)の品質に敏感なアプリケーションは、MLモデルの予測がデプロイされる前に、人間の品質保証(QA)を必要とする。
QA for ML (QA4ML) インターフェースでは、大量のデータを閲覧し、MLモデルによる誤りを修正するために多くのインタラクションを実行する必要がある。
シミュレーションを用いてQA4MLインタフェースの最適化を評価・支援する。
- 参考スコア(独自算出の注目度): 4.604443133797987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality-sensitive applications of machine learning (ML) require quality
assurance (QA) by humans before the predictions of an ML model can be deployed.
QA for ML (QA4ML) interfaces require users to view a large amount of data and
perform many interactions to correct errors made by the ML model. An optimized
user interface (UI) can significantly reduce interaction costs. While UI
optimization can be informed by user studies evaluating design options, this
approach is not scalable because there are typically numerous small variations
that can affect the efficiency of a QA4ML interface. Hence, we propose using
simulation to evaluate and aid the optimization of QA4ML interfaces. In
particular, we focus on simulating the combined effects of human intelligence
in initiating appropriate interaction commands and machine intelligence in
providing algorithmic assistance for accelerating QA4ML processes. As QA4ML is
usually labor-intensive, we use the simulated task completion time as the
metric for UI optimization under different interface and algorithm setups. We
demonstrate the usage of this UI design method in several QA4ML applications.
- Abstract(参考訳): 機械学習(ML)の品質に敏感なアプリケーションは、MLモデルの予測がデプロイされる前に、人間の品質保証(QA)を必要とする。
QA for ML (QA4ML) インターフェースでは、大量のデータを閲覧し、MLモデルによる誤りを修正するために多くのインタラクションを実行する必要がある。
最適化されたユーザインターフェース(UI)は、インタラクションコストを大幅に削減する。
UIの最適化は、設計オプションを評価するユーザスタディによって通知されるが、このアプローチは、通常、QA4MLインターフェースの効率に影響を与える小さなバリエーションが多数存在するため、スケーラブルではない。
そこで本研究では,QA4MLインタフェースの最適化をシミュレーションを用いて評価し,支援する。
特に、適切なインタラクションコマンドとマシンインテリジェンスを開始し、QA4MLプロセスの高速化にアルゴリズム支援を提供することにおいて、人間の知能の複合効果をシミュレーションすることに焦点を当てる。
QA4MLは通常、労働集約型であるため、異なるインタフェースとアルゴリズム設定下でのUI最適化の指標として、シミュレーションされたタスク完了時間を使用します。
いくつかのQA4MLアプリケーションでこのUI設計手法を実演する。
関連論文リスト
- Machine Learning Optimized Approach for Parameter Selection in MESHFREE Simulations [0.0]
従来のメッシュベースのアプローチに代わる魅力的な代替手段として、メッシュフリーシミュレーション手法が登場している。
機械学習(ML)とFraunhoferのMESHFREEソフトウェアを組み合わせた研究の概要について概説する。
本稿では,MESHFREEシミュレーションデータに能動的学習,回帰木を用いたML最適化手法を提案する。
論文 参考訳(メタデータ) (2024-03-20T15:29:59Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - AutoML-GPT: Large Language Model for AutoML [5.9145212342776805]
包括的なツールとライブラリを統合するAutoML-GPTというフレームワークを確立しました。
会話インターフェースを通じて、ユーザーは要求、制約、評価メトリクスを指定できる。
我々は、AutoML-GPTが機械学習タスクに必要な時間と労力を大幅に削減することを示した。
論文 参考訳(メタデータ) (2023-09-03T09:39:49Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - ClimSim: A large multi-scale dataset for hybrid physics-ML climate
emulation [89.29389098578194]
物理と機械学習(ML)を組み合わせたハイブリッドな手法は、新しい世代の高忠実度気候シミュレータを導入した。
ClimSimは、ハイブリッドML物理研究のために設計された、史上最大のデータセットである。
論文 参考訳(メタデータ) (2023-06-14T21:26:31Z) - AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。
本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。
このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
論文 参考訳(メタデータ) (2023-05-04T02:09:43Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - Improved and Efficient Conversational Slot Labeling through Question
Answering [48.670822631047635]
Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。
本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。
本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2022-04-05T11:34:35Z) - Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。
我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。
解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
論文 参考訳(メタデータ) (2021-09-12T18:34:33Z) - Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。
このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文 参考訳(メタデータ) (2021-01-15T03:12:29Z) - Understanding the effect of hyperparameter optimization on machine
learning models for structure design problems [8.504300709184177]
機械学習アルゴリズム(MLAs)は、コンピュータ支援工学設計における代理モデルとして実装されている。
代理モデルの精度とロバスト性に対するハイパーパラメータの影響に関する体系的な研究の欠如がある。
GPR(Gaussian Process Regression)、SVM(Support Vector Machine)、RFR(Random Forest Regression)、ANN(Artificial Neural Network)の4つが頻繁に使用されている。
その結果,HOpt は一般に MLA モデルの性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-07-04T14:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。