論文の概要: Designing Machine Learning Pipeline Toolkit for AutoML Surrogate
Modeling Optimization
- arxiv url: http://arxiv.org/abs/2107.01253v1
- Date: Fri, 2 Jul 2021 20:06:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 13:08:54.728647
- Title: Designing Machine Learning Pipeline Toolkit for AutoML Surrogate
Modeling Optimization
- Title(参考訳): AutoMLサロゲートモデリング最適化のための機械学習パイプラインツールキットの設計
- Authors: Paulito P. Palmes, Akihiro Kishimoto, Radu Marinescu, Parikshit Ram,
Elizabeth Daly
- Abstract要約: 我々は、複雑な機械学習パイプライン構造の作成と評価を容易にするAMLPツールキットを作成する。
AMLPを使って最適なパイプラインシグネチャを見つけ、それらをデータマイニングし、これらのデータマイニング機能を使って学習と予測を高速化します。
我々は、AMLP計算時間5分未満で4時間の予算で他のAutoMLアプローチよりも優れたサロゲートモデリングを備えた2段階パイプライン最適化をAMLPで作成した。
- 参考スコア(独自算出の注目度): 18.82755278152806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The pipeline optimization problem in machine learning requires simultaneous
optimization of pipeline structures and parameter adaptation of their elements.
Having an elegant way to express these structures can help lessen the
complexity in the management and analysis of their performances together with
the different choices of optimization strategies. With these issues in mind, we
created the AMLP toolkit which facilitates the creation and evaluation of
complex machine learning pipeline structures using simple expressions. We use
AMLP to find optimal pipeline signatures, datamine them, and use these
datamined features to speed-up learning and prediction. We formulated a
two-stage pipeline optimization with surrogate modeling in AMLP which
outperforms other AutoML approaches with a 4-hour time budget in less than 5
minutes of AMLP computation time.
- Abstract(参考訳): 機械学習におけるパイプライン最適化問題は、パイプライン構造とそれらの要素のパラメータ適応の同時最適化を必要とする。
これらの構造を表現するエレガントな方法を持つことは、最適化戦略の異なる選択とともに、パフォーマンスの管理と分析の複雑さを減らすのに役立ちます。
これらの問題を念頭に,我々は,シンプルな表現を用いた複雑な機械学習パイプライン構造の作成と評価を容易にするAMLPツールキットを開発した。
AMLPを使って最適なパイプラインシグネチャを見つけ、それらをデータマイニングし、これらのデータマイニング機能を使って学習と予測を高速化します。
我々は、AMLP計算時間5分未満で4時間の予算で他のAutoMLアプローチを上回り、AMLPのサロゲートモデルを用いた2段階パイプライン最適化を定式化した。
関連論文リスト
- Unleashing the Potential of Large Language Models as Prompt Optimizers:
An Analogical Analysis with Gradient-based Model Optimizers [115.2038169433773]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - eTOP: Early Termination of Pipelines for Faster Training of AutoML
Systems [12.933957727351666]
適切なAI/MLモデルを見つけるのは、複雑でコストのかかるプロセスです。
我々は,任意のAutoMLシステム上で動作するeTOPフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-17T20:22:30Z) - AutoEn: An AutoML method based on ensembles of predefined Machine
Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。
TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。
事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
論文 参考訳(メタデータ) (2023-03-19T18:37:18Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Naive Automated Machine Learning [0.0]
事前に定義されたパイプラインスキームの異なるアルゴリズムを分離して最適化します。
孤立した一般化は、探索空間を著しく減少させる。
論文 参考訳(メタデータ) (2021-11-29T13:12:54Z) - Automated Evolutionary Approach for the Design of Composite Machine
Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。
パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。
このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文 参考訳(メタデータ) (2021-06-26T23:19:06Z) - Incremental Search Space Construction for Machine Learning Pipeline
Synthesis [4.060731229044571]
automated machine learning(automl)は、マシンラーニング(ml)パイプラインの自動構築を目的とする。
パイプライン構築のためのメタ機能に基づくデータ中心アプローチを提案する。
確立されたAutoMLベンチマークで使用した28データセットに対して,アプローチの有効性と競争性を実証する。
論文 参考訳(メタデータ) (2021-01-26T17:17:49Z) - AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline
Composition and Optimisation [13.116806430326513]
本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。
AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。
AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
論文 参考訳(メタデータ) (2020-11-21T14:05:49Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z) - Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and
Robust AutoDL [53.40030379661183]
Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク
ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。
Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
論文 参考訳(メタデータ) (2020-06-24T15:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。