論文の概要: An Empirical Study on the Usage of Automated Machine Learning Tools

• arxiv url: http://arxiv.org/abs/2208.13116v1
• Date: Sun, 28 Aug 2022 02:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:26:45.127795
• Title: An Empirical Study on the Usage of Automated Machine Learning Tools
• Title（参考訳）: 自動機械学習ツールの利用に関する実証的研究
• Authors: Forough Majidi, Moses Openja, Foutse Khomh, Heng Li
• Abstract要約: 自動機械学習(AutoML)ツールの人気は、ここ数年で高まっている。 最近の研究は、AutoMLツールを使用した実践者の経験を質的研究した。 我々は,ML実践者がプロジェクトにおいてAutoMLツールをどのように利用するかを理解するための実証的研究を行った。
• 参考スコア（独自算出の注目度）: 10.901346577426542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The popularity of automated machine learning (AutoML) tools in different domains has increased over the past few years. Machine learning (ML) practitioners use AutoML tools to automate and optimize the process of feature engineering, model training, and hyperparameter optimization and so on. Recent work performed qualitative studies on practitioners' experiences of using AutoML tools and compared different AutoML tools based on their performance and provided features, but none of the existing work studied the practices of using AutoML tools in real-world projects at a large scale. Therefore, we conducted an empirical study to understand how ML practitioners use AutoML tools in their projects. To this end, we examined the top 10 most used AutoML tools and their respective usages in a large number of open-source project repositories hosted on GitHub. The results of our study show 1) which AutoML tools are mostly used by ML practitioners and 2) the characteristics of the repositories that use these AutoML tools. Also, we identified the purpose of using AutoML tools (e.g. model parameter sampling, search space management, model evaluation/error-analysis, Data/ feature transformation, and data labeling) and the stages of the ML pipeline (e.g. feature engineering) where AutoML tools are used. Finally, we report how often AutoML tools are used together in the same source code files. We hope our results can help ML practitioners learn about different AutoML tools and their usages, so that they can pick the right tool for their purposes. Besides, AutoML tool developers can benefit from our findings to gain insight into the usages of their tools and improve their tools to better fit the users' usages and needs.
• Abstract（参考訳）: さまざまなドメインにおける自動機械学習(AutoML)ツールの人気は、ここ数年で高まっている。 機械学習(ml)実践者はautomlツールを使用して、機能エンジニアリング、モデルトレーニング、ハイパーパラメータ最適化などのプロセスを自動化および最適化する。 最近の研究は、automlツールを使用した実践者の経験を定性的に研究し、そのパフォーマンスと機能に基づいて異なるautomlツールを比較しているが、既存の研究は、実世界のプロジェクトでautomlツールを使用するプラクティスを大規模に研究していない。 そこで我々は,ML実践者がプロジェクトにおいてAutoMLツールをどのように利用するかを理解するための実証的研究を行った。 この目的のために、GitHubにホストされている多数のオープンソースプロジェクトリポジトリにおいて、最も使われているAutoMLツールとその使用状況のトップ10を調査した。 私たちの研究の結果は 1) AutoMLツールが主にML実践者によって使用されているもの 2) これらのAutoMLツールを使用するリポジトリの特徴。 また、AutoMLツール(例えば、モデルパラメータサンプリング、検索空間管理、モデル評価/エラー分析、データ/特徴変換、データラベリング)とAutoMLツールを使用するMLパイプラインのステージ(例えば、機能エンジニアリング)を使用することの目的を特定した。 最後に、同じソースコードファイルでAutoMLツールが使用される頻度について報告する。 私たちの結果は、ml実践者がさまざまなautomlツールとその使用法を学ぶのに役立つことを願っています。 さらに、AutoMLツール開発者は、私たちの発見から恩恵を受け、ツールの使用状況に関する洞察を得て、ユーザの使用状況やニーズに合うようにツールを改善します。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
  AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。 関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
  論文  参考訳（メタデータ） (2023-07-20T11:14:24Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)
• A Neophyte With AutoML: Evaluating the Promises of Automatic Machine Learning Tools [1.713291434132985]
  本稿では,機械学習(ML)経験の少ない人の視点から,現代の自動機械学習(AutoML)ツールについて考察する。 ML技術の使用を簡素化し、民主化するために作られたAutoMLツールは、使いやすくも開発中のツールも数多くある。
  論文  参考訳（メタデータ） (2021-01-14T19:28:57Z)
• Whither AutoML? Understanding the Role of Automation in Machine Learning Workflows [10.309305727686326]
  機械学習をより広くアクセス可能にする取り組みは、機械学習のトレーニングとデプロイのプロセスを自動化することを目的としたAuto-MLツールの急速な増加をもたらしました。 今日、Auto-MLツールが実際にどのように使われているかを理解するために、初心者ホビーストからAuto-MLツールを使用する業界研究者まで、参加者と質的研究を行った。 私たちは、既存のツールのメリットと欠陥、およびMLにおける人間と自動化の役割に関する洞察を提示します。
  論文  参考訳（メタデータ） (2021-01-13T02:12:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。