論文の概要: Trust in AutoML: Exploring Information Needs for Establishing Trust in
Automated Machine Learning Systems
- arxiv url: http://arxiv.org/abs/2001.06509v1
- Date: Fri, 17 Jan 2020 19:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 10:07:06.602663
- Title: Trust in AutoML: Exploring Information Needs for Establishing Trust in
Automated Machine Learning Systems
- Title(参考訳): trust in automl: 自動機械学習システムにおける信頼確立のための情報ニーズの探求
- Authors: Jaimie Drozdal, Justin Weisz, Dakuo Wang, Gaurav Dass, Bingsheng Yao,
Changruo Zhao, Michael Muller, Lin Ju, Hui Su
- Abstract要約: 本稿では,AutoMLシステムへの信頼を確立するために,データサイエンティストの持つ情報ニーズを理解するための3つの研究結果について報告する。
モデルパフォーマンスメトリクスと視覚化が、AutoMLツールへの信頼を確立する上で、データサイエンティストにとって最も重要な情報であることに気付きました。
- 参考スコア(独自算出の注目度): 30.385703521998014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore trust in a relatively new area of data science: Automated Machine
Learning (AutoML). In AutoML, AI methods are used to generate and optimize
machine learning models by automatically engineering features, selecting
models, and optimizing hyperparameters. In this paper, we seek to understand
what kinds of information influence data scientists' trust in the models
produced by AutoML? We operationalize trust as a willingness to deploy a model
produced using automated methods. We report results from three studies --
qualitative interviews, a controlled experiment, and a card-sorting task -- to
understand the information needs of data scientists for establishing trust in
AutoML systems. We find that including transparency features in an AutoML tool
increased user trust and understandability in the tool; and out of all proposed
features, model performance metrics and visualizations are the most important
information to data scientists when establishing their trust with an AutoML
tool.
- Abstract(参考訳): データサイエンスの比較的新しい領域、Automated Machine Learning (AutoML)の信頼について検討する。
AutoMLでは、機能の自動エンジニアリング、モデルの選択、ハイパーパラメータの最適化による機械学習モデルの生成と最適化にAIメソッドが使用されている。
本稿では,AutoMLが生み出すモデルに対するデータ科学者の信頼にどのような影響を及ぼすかを理解する。
私たちは、自動化された方法で生成されたモデルをデプロイする意思として、信頼を運用します。
我々は,AutoMLシステムへの信頼を確立するために,データサイエンティストの情報ニーズを理解するために,適性インタビュー,制御実験,カードソートタスクの3つの研究結果について報告する。
automlツールの透明性機能を含むことで、ツールのユーザ信頼と理解性が向上する。提案されているすべての機能のうち、モデルパフォーマンスメトリクスと視覚化は、automlツールとの信頼を確立する上で、データサイエンティストにとって最も重要な情報である。
関連論文リスト
- AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。
我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z) - Democratize with Care: The need for fairness specific features in
user-interface based open source AutoML tools [0.0]
Automated Machine Learning (AutoML)は、機械学習モデル開発プロセスを効率化する。
この民主化により、多くのユーザー(非専門家を含む)が最先端の機械学習の専門知識にアクセスし利用できるようになる。
しかし、AutoMLツールはまた、これらのツールがデータを処理する方法、モデル選択、そして採用される最適化アプローチのバイアスを伝播する可能性がある。
論文 参考訳(メタデータ) (2023-12-16T19:54:00Z) - Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。
関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
論文 参考訳(メタデータ) (2023-07-20T11:14:24Z) - AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。
本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。
このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
論文 参考訳(メタデータ) (2023-05-04T02:09:43Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - Towards Green Automated Machine Learning: Status Quo and Future
Directions [71.86820260846369]
AutoMLは高いリソース消費で批判されている。
本稿では,AutoMLプロセス全体を環境に優しいものにするためのパラダイムであるGreen AutoMLを提案する。
論文 参考訳(メタデータ) (2021-11-10T18:57:27Z) - Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。
以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
論文 参考訳(メタデータ) (2021-08-27T09:26:20Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z) - A Neophyte With AutoML: Evaluating the Promises of Automatic Machine
Learning Tools [1.713291434132985]
本稿では,機械学習(ML)経験の少ない人の視点から,現代の自動機械学習(AutoML)ツールについて考察する。
ML技術の使用を簡素化し、民主化するために作られたAutoMLツールは、使いやすくも開発中のツールも数多くある。
論文 参考訳(メタデータ) (2021-01-14T19:28:57Z) - AutoDS: Towards Human-Centered Automation of Data Science [20.859067294445985]
本稿では,データサイエンスプロジェクトを支援する自動機械学習(AutoML)システムであるAutoDSを紹介する。
予想通り、autodsは生産性を向上させる。しかし驚くべきことに、autods groupが生成するモデルは品質が高く、エラーが少ないが、人間の信頼度スコアは低い。
論文 参考訳(メタデータ) (2021-01-13T08:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。