論文の概要: Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2001.06509v1
• Date: Fri, 17 Jan 2020 19:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 10:07:06.602663
• Title: Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems
• Title（参考訳）: trust in automl: 自動機械学習システムにおける信頼確立のための情報ニーズの探求
• Authors: Jaimie Drozdal, Justin Weisz, Dakuo Wang, Gaurav Dass, Bingsheng Yao, Changruo Zhao, Michael Muller, Lin Ju, Hui Su
• Abstract要約: 本稿では,AutoMLシステムへの信頼を確立するために,データサイエンティストの持つ情報ニーズを理解するための3つの研究結果について報告する。 モデルパフォーマンスメトリクスと視覚化が、AutoMLツールへの信頼を確立する上で、データサイエンティストにとって最も重要な情報であることに気付きました。
• 参考スコア（独自算出の注目度）: 30.385703521998014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore trust in a relatively new area of data science: Automated Machine Learning (AutoML). In AutoML, AI methods are used to generate and optimize machine learning models by automatically engineering features, selecting models, and optimizing hyperparameters. In this paper, we seek to understand what kinds of information influence data scientists' trust in the models produced by AutoML? We operationalize trust as a willingness to deploy a model produced using automated methods. We report results from three studies -- qualitative interviews, a controlled experiment, and a card-sorting task -- to understand the information needs of data scientists for establishing trust in AutoML systems. We find that including transparency features in an AutoML tool increased user trust and understandability in the tool; and out of all proposed features, model performance metrics and visualizations are the most important information to data scientists when establishing their trust with an AutoML tool.
• Abstract（参考訳）: データサイエンスの比較的新しい領域、Automated Machine Learning (AutoML)の信頼について検討する。 AutoMLでは、機能の自動エンジニアリング、モデルの選択、ハイパーパラメータの最適化による機械学習モデルの生成と最適化にAIメソッドが使用されている。 本稿では,AutoMLが生み出すモデルに対するデータ科学者の信頼にどのような影響を及ぼすかを理解する。 私たちは、自動化された方法で生成されたモデルをデプロイする意思として、信頼を運用します。 我々は,AutoMLシステムへの信頼を確立するために,データサイエンティストの情報ニーズを理解するために,適性インタビュー,制御実験,カードソートタスクの3つの研究結果について報告する。 automlツールの透明性機能を含むことで、ツールのユーザ信頼と理解性が向上する。提案されているすべての機能のうち、モデルパフォーマンスメトリクスと視覚化は、automlツールとの信頼を確立する上で、データサイエンティストにとって最も重要な情報である。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
  自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。 AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-06-05T15:05:24Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• Democratize with Care: The need for fairness specific features in user-interface based open source AutoML tools [0.0]
  Automated Machine Learning (AutoML)は、機械学習モデル開発プロセスを効率化する。 この民主化により、多くのユーザー(非専門家を含む)が最先端の機械学習の専門知識にアクセスし利用できるようになる。 しかし、AutoMLツールはまた、これらのツールがデータを処理する方法、モデル選択、そして採用される最適化アプローチのバイアスを伝播する可能性がある。
  論文  参考訳（メタデータ） (2023-12-16T19:54:00Z)
• Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
  AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。 関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
  論文  参考訳（メタデータ） (2023-07-20T11:14:24Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
  本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。 以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T09:26:20Z)
• A Neophyte With AutoML: Evaluating the Promises of Automatic Machine Learning Tools [1.713291434132985]
  本稿では,機械学習(ML)経験の少ない人の視点から,現代の自動機械学習(AutoML)ツールについて考察する。 ML技術の使用を簡素化し、民主化するために作られたAutoMLツールは、使いやすくも開発中のツールも数多くある。
  論文  参考訳（メタデータ） (2021-01-14T19:28:57Z)
• AutoDS: Towards Human-Centered Automation of Data Science [20.859067294445985]
  本稿では,データサイエンスプロジェクトを支援する自動機械学習(AutoML)システムであるAutoDSを紹介する。 予想通り、autodsは生産性を向上させる。しかし驚くべきことに、autods groupが生成するモデルは品質が高く、エラーが少ないが、人間の信頼度スコアは低い。
  論文  参考訳（メタデータ） (2021-01-13T08:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。