論文の概要: AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with
Autotuned Data-Parallel Training for Tabular Data
- arxiv url: http://arxiv.org/abs/2010.16358v2
- Date: Tue, 26 Oct 2021 12:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 15:52:59.441149
- Title: AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with
Autotuned Data-Parallel Training for Tabular Data
- Title（参考訳）: AgEBO-Tabular: タブラルデータの自動学習による結合型ニューラルネットワークとハイパーパラメータ検索
- Authors: Romain Egele, Prasanna Balaprakash, Venkatram Vishwanath, Isabelle
Guyon, Zhengying Liu
- Abstract要約: 大規模データセットに対する高性能な予測モデルの開発は難しい課題である。
最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。
我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
- 参考スコア（独自算出の注目度）: 11.552769149674544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing high-performing predictive models for large tabular data sets is a
challenging task. The state-of-the-art methods are based on expert-developed
model ensembles from different supervised learning methods. Recently, automated
machine learning (AutoML) is emerging as a promising approach to automate
predictive model development. Neural architecture search (NAS) is an AutoML
approach that generates and evaluates multiple neural network architectures
concurrently and improves the accuracy of the generated models iteratively. A
key issue in NAS, particularly for large data sets, is the large computation
time required to evaluate each generated architecture. While data-parallel
training is a promising approach that can address this issue, its use within
NAS is difficult. For different data sets, the data-parallel training settings
such as the number of parallel processes, learning rate, and batch size need to
be adapted to achieve high accuracy and reduction in training time. To that
end, we have developed AgEBO-Tabular, an approach to combine aging evolution
(AgE), a parallel NAS method that searches over neural architecture space, and
an asynchronous Bayesian optimization method for tuning the hyperparameters of
the data-parallel training simultaneously. We demonstrate the efficacy of the
proposed method to generate high-performing neural network models for large
tabular benchmark data sets. Furthermore, we demonstrate that the automatically
discovered neural network models using our method outperform the
state-of-the-art AutoML ensemble models in inference speed by two orders of
magnitude while reaching similar accuracy values.
- Abstract（参考訳）: 大規模表型データセットのための高パフォーマンスな予測モデルの開発は難しい課題である。
最新の手法は、異なる教師付き学習方法のエキスパートによって開発されたモデルアンサンブルに基づいている。
最近、予測モデル開発の自動化に有望なアプローチとして、automl(automl)が登場している。
neural architecture search(nas)は、複数のニューラルネットワークアーキテクチャを同時に生成し、評価し、生成されたモデルの精度を反復的に改善するautomlアプローチである。
NASの重要な問題、特に大規模データセットでは、生成された各アーキテクチャを評価するのに必要な計算時間が大きい。
データ並列トレーニングはこの問題に対処できる有望なアプローチであるが、NAS内での使用は難しい。
異なるデータセットに対して、並列プロセスの数、学習率、バッチサイズなどのデータ並列トレーニング設定は、高い精度とトレーニング時間の短縮を達成するために適応する必要がある。
そこで我々は,aging evolution (age) と,ニューラルネットワーク空間を探索する並列nas法,データ並列トレーニングのハイパーパラメータを同時にチューニングする非同期ベイズ最適化法を組み合わせた手法である agebo-tabular を開発した。
提案手法の有効性を実証し,大規模ベンチマークデータセットに対して高い性能のニューラルネットワークモデルを生成する。
さらに,本手法を用いて自動検出されたニューラルネットワークモデルは,2桁の精度を達成しつつ,予測速度において最先端のAutoMLアンサンブルモデルより優れていることを示す。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳（メタデータ） (2023-10-18T17:56:24Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-20T22:25:47Z) - A Deep Neural Networks ensemble workflow from hyperparameter search to
inference leveraging GPU clusters [0.0]
AutoMLは、定性的予測を達成するために、ディープニューラルネットワーク(DNN)のアンサンブルを自動的に構築することを目指している。
我々は,より正確で多様な個別モデルのライブラリを構築し,アンサンブルを構築するための新しいAutoMLを提案する。
高精度なアンサンブルを生成するために,多目的グリードアルゴリズムに基づく新しいアンサンブル選択法を提案する。
論文 参考訳（メタデータ） (2022-08-30T08:04:19Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Improving Neural Networks for Time Series Forecasting using Data
Augmentation and AutoML [0.0]
本稿では,ニューラルネットワークの性能を大幅に向上させるデータ拡張手法を提案する。
これは、Neural Architecture Searchのような自動機械学習技術を組み合わせることで、与えられた時系列に最適なニューラルネットワークを見つけるのに役立つことを示している。
論文 参考訳（メタデータ） (2021-03-02T19:20:49Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Automatic deep learning for trend prediction in time series data [0.0]
時系列データのトレンドを予測するためにディープニューラルネットワーク(DNN)アルゴリズムが検討されている。
多くの実世界のアプリケーションでは、時系列データは動的システムから取得される。
モデル開発プロセスを自動化するために,最新のAutoMLツールを効果的に利用する方法を示す。
論文 参考訳（メタデータ） (2020-09-17T19:47:05Z) - NASirt: AutoML based learning with instance-level complexity information [0.0]
我々は、スペクトルデータセットの高精度CNNアーキテクチャを見つけるAutoML手法であるNASirtを提案する。
我々の手法は、ほとんどの場合、ベンチマークよりも優れた性能を示し、平均精度は97.40%に達する。
論文 参考訳（メタデータ） (2020-08-26T22:21:44Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳（メタデータ） (2020-06-25T09:57:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。