論文の概要: A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters

• arxiv url: http://arxiv.org/abs/2208.14046v1
• Date: Tue, 30 Aug 2022 08:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 13:38:15.047978
• Title: A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
• Title（参考訳）: ハイパーパラメータ探索からGPUクラスタを利用した推論までのディープニューラルネットワークアンサンブルワークフロー
• Authors: Pierrick Pochelu, Serge G. Petiton, Bruno Conche
• Abstract要約: AutoMLは、定性的予測を達成するために、ディープニューラルネットワーク(DNN)のアンサンブルを自動的に構築することを目指している。 我々は,より正確で多様な個別モデルのライブラリを構築し,アンサンブルを構築するための新しいAutoMLを提案する。 高精度なアンサンブルを生成するために,多目的グリードアルゴリズムに基づく新しいアンサンブル選択法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Machine Learning with ensembling (or AutoML with ensembling) seeks to automatically build ensembles of Deep Neural Networks (DNNs) to achieve qualitative predictions. Ensemble of DNNs are well known to avoid over-fitting but they are memory and time consuming approaches. Therefore, an ideal AutoML would produce in one single run time different ensembles regarding accuracy and inference speed. While previous works on AutoML focus to search for the best model to maximize its generalization ability, we rather propose a new AutoML to build a larger library of accurate and diverse individual models to then construct ensembles. First, our extensive benchmarks show asynchronous Hyperband is an efficient and robust way to build a large number of diverse models to combine them. Then, a new ensemble selection method based on a multi-objective greedy algorithm is proposed to generate accurate ensembles by controlling their computing cost. Finally, we propose a novel algorithm to optimize the inference of the DNNs ensemble in a GPU cluster based on allocation optimization. The produced AutoML with ensemble method shows robust results on two datasets using efficiently GPU clusters during both the training phase and the inference phase.
• Abstract（参考訳）: アンサンブル付き機械学習(あるいはアンサンブル付きAutoML)は、Deep Neural Networks(DNN)のアンサンブルを自動的に構築して、定性的予測を実現する。 DNNのアンサンブルは、過度な適合を避けることでよく知られているが、それらはメモリと時間のかかるアプローチである。 したがって、理想的なAutoMLは、1回のランタイムで精度と推論速度に関する異なるアンサンブルを生成する。 これまでのAutoMLは、その一般化能力を最大化するために最適なモデルを探すことに重点を置いていたが、我々はより正確で多様な個別モデルのライブラリを構築し、アンサンブルを構築するために新しいAutoMLを提案する。 まず、我々の広範なベンチマークによると、非同期ハイパーバンドは、それらを組み合わせるために多数の多様なモデルを構築する効率的で堅牢な方法である。 そこで,多目的グリーディアルゴリズムに基づく新しいアンサンブル選択法を提案し,計算コストを制御して正確なアンサンブルを生成する。 最後に、アロケーション最適化に基づくGPUクラスタにおけるDNNアンサンブルの推論を最適化する新しいアルゴリズムを提案する。 学習フェーズと推論フェーズの両方において,gpuクラスタを用いた2つのデータセットにロバストな結果を示す。

関連論文リスト

• CLAMS: A System for Zero-Shot Model Selection for Clustering [3.7127285734321194]
  本稿では,最適なトランスポートベースデータセットの類似性を利用して,クラスタリング問題に対するモデル選択を可能にするAutoMLシステムを提案する。 その結果、クラスタリングアプリケーションを解決するための類似性に基づく自動モデル選択の有用性が実証された。
  論文  参考訳（メタデータ） (2024-07-15T23:50:07Z)
• Efficient Automated Deep Learning for Time Series Forecasting [42.47842694670572]
  本稿では,時系列予測のために,ニューラルネットワークとデータ処理パイプライン全体のハイパーパラメータを協調的に最適化する効率的な手法を提案する。 一般的なNASサーチスペースとは対照的に,我々は様々な最先端アーキテクチャをカバーする新しいニューラルアーキテクチャサーチスペースを設計した。 異なる予測データセット上で効率の良い多重忠実度最適化を実現するために,様々な予算タイプを実証的に検討する。
  論文  参考訳（メタデータ） (2022-05-11T14:03:25Z)
• Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning [72.9458277424712]
  Mixture Model Auto-Encoders (MixMate)は、生成モデルで推論を実行することでデータをクラスタリングする新しいアーキテクチャである。 最先端のディープクラスタリングアルゴリズムと比較して,MixMateは競争性能が高いことを示す。
  論文  参考訳（メタデータ） (2021-10-10T02:30:31Z)
• Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis [8.660029077292346]
  本稿では,学習した時系列のコンパクト表現,オートエンコードコンパクトシーケンス(AECS),階層クラスタリングアプローチを組み合わせたクラスタの識別機構を提案する。 Sequence to Sequence(seq2seq)オートエンコーダと集約型階層クラスタリングに基づくRecurrent Neural Network(RNN)を利用するアルゴリズムです。
  論文  参考訳（メタデータ） (2021-01-11T08:03:57Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
  大規模データセットに対する高性能な予測モデルの開発は難しい課題である。 最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。 我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
  論文  参考訳（メタデータ） (2020-10-30T16:28:48Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)
• Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL [53.40030379661183]
  Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。 Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
  論文  参考訳（メタデータ） (2020-06-24T15:15:17Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。