論文の概要: How Much Automation Does a Data Scientist Want?
- arxiv url: http://arxiv.org/abs/2101.03970v1
- Date: Thu, 7 Jan 2021 04:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:25:39.868468
- Title: How Much Automation Does a Data Scientist Want?
- Title(参考訳): データサイエンティストはどれくらい自動化したいのか?
- Authors: Dakuo Wang and Q. Vera Liao and Yunfeng Zhang and Udayan Khurana and
Horst Samulowitz and Soya Park and Michael Muller and Lisa Amini
- Abstract要約: データサイエンスと機械学習(DS/ML)は多くの人工知能(AI)アプリケーションの最近の進歩の中心にある。
DSとMLワーカーは本当にDS/MLワークフローを自動化したいですか?
まず、人間中心のAutoMLフレームワークを6つのユーザロール/パーソナ、10つのステージ、43のサブタスク、5つの自動化レベル、5つの説明型で合成します。
- 参考スコア(独自算出の注目度): 30.853603124186023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data science and machine learning (DS/ML) are at the heart of the recent
advancements of many Artificial Intelligence (AI) applications. There is an
active research thread in AI, \autoai, that aims to develop systems for
automating end-to-end the DS/ML Lifecycle. However, do DS and ML workers really
want to automate their DS/ML workflow? To answer this question, we first
synthesize a human-centered AutoML framework with 6 User Role/Personas, 10
Stages and 43 Sub-Tasks, 5 Levels of Automation, and 5 Types of Explanation,
through reviewing research literature and marketing reports. Secondly, we use
the framework to guide the design of an online survey study with 217 DS/ML
workers who had varying degrees of experience, and different user roles
"matching" to our 6 roles/personas. We found that different user personas
participated in distinct stages of the lifecycle -- but not all stages. Their
desired levels of automation and types of explanation for AutoML also varied
significantly depending on the DS/ML stage and the user persona. Based on the
survey results, we argue there is no rationale from user needs for complete
automation of the end-to-end DS/ML lifecycle. We propose new next steps for
user-controlled DS/ML automation.
- Abstract(参考訳): データサイエンスと機械学習(DS/ML)は多くの人工知能(AI)アプリケーションの最近の進歩の中心にある。
AIには、DS/MLライフサイクルをエンドツーエンドで自動化するシステムを開発することを目的とした研究スレッドである‘autoai’がある。
しかし、DSとMLワーカーは本当にDS/MLワークフローを自動化したいのか?
この質問に答えるために、まず6つのユーザロール/パーソナラ、10のステージと43のサブタスク、5レベルの自動化、5種類の説明を備えた人間中心のautomlフレームワークを、研究文献とマーケティングレポートのレビューを通じて合成する。
第2に、経験の度合いの異なる217人のDS/MLワーカーによるオンラインサーベイスタディの設計の指針として、このフレームワークを使用し、6つのロール/ペルソナに対して異なるユーザロールを"マッチング"します。
異なるユーザペルソナがライフサイクルの異なる段階に参加していることが分かりました。
彼らの望む自動化レベルとAutoMLのタイプもDS/MLステージとユーザペルソナによって大きく異なる。
調査の結果から、エンド・ツー・エンドds/mlライフサイクルの完全な自動化に対するユーザニーズからの根拠はない、と論じた。
ユーザ制御DS/ML自動化のための新しいステップを提案する。
関連論文リスト
- AutoRT: Embodied Foundation Models for Large Scale Orchestration of
Robotic Agents [110.44779088587809]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。
われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。
実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文 参考訳(メタデータ) (2024-01-23T18:45:54Z) - Benchmarking Large Language Models As AI Research Agents [105.65277755304277]
我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z) - Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。
関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
論文 参考訳(メタデータ) (2023-07-20T11:14:24Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - Attributed Question Answering: Evaluation and Modeling for Attributed
Large Language Models [68.37431984231338]
大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。
我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
論文 参考訳(メタデータ) (2022-12-15T18:45:29Z) - Towards Green Automated Machine Learning: Status Quo and Future
Directions [71.86820260846369]
AutoMLは高いリソース消費で批判されている。
本稿では,AutoMLプロセス全体を環境に優しいものにするためのパラダイムであるGreen AutoMLを提案する。
論文 参考訳(メタデータ) (2021-11-10T18:57:27Z) - AutoDS: Towards Human-Centered Automation of Data Science [20.859067294445985]
本稿では,データサイエンスプロジェクトを支援する自動機械学習(AutoML)システムであるAutoDSを紹介する。
予想通り、autodsは生産性を向上させる。しかし驚くべきことに、autods groupが生成するモデルは品質が高く、エラーが少ないが、人間の信頼度スコアは低い。
論文 参考訳(メタデータ) (2021-01-13T08:35:14Z) - AutoML to Date and Beyond: Challenges and Opportunities [30.60364966752454]
AutoMLツールは、機械学習を非機械学習の専門家が利用できるようにすることを目的としている。
本稿では,AutoMLシステムのための新しい分類システムを提案する。
エンド・ツー・エンドの機械学習パイプラインのさらなる自動化に必要な研究を指摘して、将来のロードマップを策定しました。
論文 参考訳(メタデータ) (2020-10-21T06:08:21Z) - Can AutoML outperform humans? An evaluation on popular OpenML datasets
using AutoML Benchmark [0.05156484100374058]
この記事では、OpenMLから12の人気のあるデータセット上の4つのAutoMLフレームワークを比較します。
その結果、自動化されたフレームワークは、12のOpenMLタスクのうち7つの機械学習コミュニティより優れているか等しいかが分かる。
論文 参考訳(メタデータ) (2020-09-03T10:25:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。