論文の概要: Hyperparameter Optimization as a Service on INFN Cloud
- arxiv url: http://arxiv.org/abs/2301.05522v1
- Date: Fri, 13 Jan 2023 12:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 15:39:15.259373
- Title: Hyperparameter Optimization as a Service on INFN Cloud
- Title(参考訳): INFNクラウド上のサービスとしてのハイパーパラメータ最適化
- Authors: Matteo Barbetti and Lucio Anderlini
- Abstract要約: 我々は、単純なHTTPリクエストを通じて、勾配のない最適化技術を用いて、複数のトレーニングインスタンスを監視し、おそらく調整するためのINFN Cloudベースの専用サービスを提示します。
Hopaasという名前のこのサービスは、WebインターフェースとAPIセットで構成されており、INFN Cloudの仮想インスタンスでUvicornとNGINXを経由するFastAPIバックエンドで実装されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The simplest and often most effective way of parallelizing the training of
complex machine learning models is to execute several training instances on
multiple machines, possibly scanning the hyperparameter space to optimize the
underlying statistical model and the learning procedure. Often, such a meta
learning procedure is limited by the ability of accessing securely a common
database organizing the knowledge of the previous and ongoing trials.
Exploiting opportunistic GPUs provided in different environments represents a
further challenge when designing such optimization campaigns. In this
contribution we discuss how a set of RestAPIs can be used to access a dedicated
service based on INFN Cloud to monitor and possibly coordinate multiple
training instances, with gradient-less optimization techniques, via simple HTTP
requests. The service, named Hopaas (Hyperparameter OPtimization As A Service),
is made of web interface and sets of APIs implemented with a FastAPI back-end
running through Uvicorn and NGINX in a virtual instance of INFN Cloud. The
optimization algorithms are currently based on Bayesian techniques as provided
by Optuna. A Python front-end is also made available for quick prototyping. We
present applications to hyperparameter optimization campaigns performed
combining private, INFN Cloud and CINECA resources.
- Abstract(参考訳): 複雑な機械学習モデルのトレーニングを並列化する最も単純かつ最も効果的な方法は、複数のマシンで複数のトレーニングインスタンスを実行し、おそらくハイパーパラメータ空間をスキャンして基礎となる統計モデルと学習手順を最適化する。
多くの場合、このようなメタ学習手順は、前回および進行中の試行の知識を組織化する共通のデータベースに安全にアクセスする能力によって制限される。
異なる環境で提供されるオポチュニティGPUの爆発は、そのような最適化キャンペーンを設計する際のさらなる課題である。
このコントリビューションでは、シンプルなHTTPリクエストを通じて、RestAPIのセットを使ってINFN Cloudベースの専用サービスにアクセスして、複数のトレーニングインスタンスを監視し、おそらく調整する方法について論じます。
Hopaas(Hyperparameter Optitimization As A Service)という名前のこのサービスは、Webインターフェースと、INFN Cloudの仮想インスタンスでUvicornとNGINXを経由するFastAPIバックエンドで実装されたAPIセットで構成されている。
最適化アルゴリズムは現在、オプトゥーナが提供するベイズ手法に基づいている。
pythonフロントエンドもクイックプロトタイピング用に提供されている。
我々は、プライベート、INFNクラウド、CINECAリソースを組み合わせたハイパーパラメータ最適化キャンペーンに応用する。
関連論文リスト
- Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳(メタデータ) (2022-07-07T04:42:54Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。
この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。
本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
論文 参考訳(メタデータ) (2021-03-07T20:41:57Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳(メタデータ) (2020-03-10T05:52:15Z) - PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。
これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
論文 参考訳(メタデータ) (2020-02-13T10:33:05Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳(メタデータ) (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。