論文の概要: AMLB: an AutoML Benchmark

• arxiv url: http://arxiv.org/abs/2207.12560v1
• Date: Mon, 25 Jul 2022 22:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 12:17:44.372771
• Title: AMLB: an AutoML Benchmark
• Title（参考訳）: AMLB: AutoMLベンチマーク
• Authors: Pieter Gijsbers, Marcos L. P. Bueno, Stefan Coors, Erin LeDell, S\'ebastien Poirier, Janek Thomas, Bernd Bischl, Joaquin Vanschoren
• Abstract要約: 71の分類と33の回帰タスクで9つのよく知られたAutoMLフレームワークを徹底的に比較する。 ベンチマークにはオープンソースツールが付属しており、多くのAutoMLフレームワークと統合され、実証的な評価プロセスのエンドツーエンドを自動化する。
• 参考スコア（独自算出の注目度）: 2.9463385951982657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing different AutoML frameworks is notoriously challenging and often done incorrectly. We introduce an open and extensible benchmark that follows best practices and avoids common mistakes when comparing AutoML frameworks. We conduct a thorough comparison of 9 well-known AutoML frameworks across 71 classification and 33 regression tasks. The differences between the AutoML frameworks are explored with a multi-faceted analysis, evaluating model accuracy, its trade-offs with inference time, and framework failures. We also use Bradley-Terry trees to discover subsets of tasks where the relative AutoML framework rankings differ. The benchmark comes with an open-source tool that integrates with many AutoML frameworks and automates the empirical evaluation process end-to-end: from framework installation and resource allocation to in-depth evaluation. The benchmark uses public data sets, can be easily extended with other AutoML frameworks and tasks, and has a website with up-to-date results.
• Abstract（参考訳）: さまざまなAutoMLフレームワークを比較することは、非常に難しく、しばしば正しくない。 ベストプラクティスに従ったオープンで拡張可能なベンチマークを導入し、AutoMLフレームワークを比較する際の一般的なミスを回避する。 71の分類と33の回帰タスクで9つのよく知られたAutoMLフレームワークを徹底的に比較する。 AutoMLフレームワークの違いは、多面的な分析、モデルの正確性の評価、推論時間によるトレードオフ、フレームワークの失敗などで調査されている。 また、相対的なAutoMLフレームワークランキングが異なるタスクのサブセットを見つけるためにBradley-Terry木を使用します。 ベンチマークには、多くのAutoMLフレームワークを統合し、フレームワークのインストールやリソース割り当てから詳細な評価に至るまで、実証的な評価プロセスのエンドツーエンドを自動化するオープンソースツールが付属している。 このベンチマークでは、公開データセットを使用し、他のautomlフレームワークやタスクで簡単に拡張でき、最新の結果のwebサイトがある。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Task Me Anything [72.810309406219]
  本稿では,ユーザのニーズに合わせたベンチマークを作成する。 113Kイメージ、10Kビデオ、2Kの3Dオブジェクトアセット、365以上のオブジェクトカテゴリ、655の属性、335の関係がある。 750万のイメージ/ビデオ問合せペアを生成することが可能で、知覚能力の評価に重点を置いている。
  論文  参考訳（メタデータ） (2024-06-17T17:32:42Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• Bringing Quantum Algorithms to Automated Machine Learning: A Systematic Review of AutoML Frameworks Regarding Extensibility for QML Algorithms [1.4469725791865982]
  本稿では、量子機械学習(QML)アルゴリズムを組み込む能力について、既存のAutoMLフレームワークの選択アプローチと分析について述べる。 そのため、利用可能なオープンソースツールは市場概要に集約され、適切なフレームワークは、マルチフェーズのマルチ基準アプローチで体系的に選択されます。 ハードウェアおよびソフトウェア制約に対するQC固有のパイプラインステップと決定特性を備えた拡張型量子機械学習(AutoQML)フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-10-06T13:21:16Z)
• Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
  本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。 我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。 解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
  論文  参考訳（メタデータ） (2021-09-12T18:34:33Z)
• Comparison of Automated Machine Learning Tools for SMS Spam Message Filtering [0.0]
  Short Message Service (SMS)は、モバイルユーザーによるコミュニケーションに使用される人気のサービスである。 本研究では,SMSスパムメッセージフィルタリングのための3つの自動機械学習(AutoML)ツールの分類性能比較を行った。 実験の結果,アンサンブルモデルが最も優れた分類性能を示した。
  論文  参考訳（メタデータ） (2021-06-16T10:16:07Z)
• Can AutoML outperform humans? An evaluation on popular OpenML datasets using AutoML Benchmark [0.05156484100374058]
  この記事では、OpenMLから12の人気のあるデータセット上の4つのAutoMLフレームワークを比較します。 その結果、自動化されたフレームワークは、12のOpenMLタスクのうち7つの機械学習コミュニティより優れているか等しいかが分かる。
  論文  参考訳（メタデータ） (2020-09-03T10:25:34Z)
• Is deep learning necessary for simple classification tasks? [3.3793659640122717]
  自動機械学習(Automated Machine Learning、ML)とディープラーニング(Deep Learning、DL)は、帰納的学習タスクを解決するために使用される最先端のパラダイムである。 6つのよく認識された公開データセットのバイナリ分類の文脈でAutoMLとDLを比較した。 また、深部推定器を組み込んだ遺伝的プログラミングに基づくAutoMLの新しいツールの評価を行った。
  論文  参考訳（メタデータ） (2020-06-11T18:41:47Z)
• AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data [120.2298620652828]
  オープンソースのAutoMLフレームワークであるAutoGluon-Tabularを紹介します。 KaggleとOpenML AutoML Benchmarkの50の分類および回帰タスクからなるスイートのテストによると、AutoGluonはより速く、より堅牢で、はるかに正確である。
  論文  参考訳（メタデータ） (2020-03-13T23:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。