Fugu-MT 論文翻訳(概要): Hyperparameter Optimization as a Service on INFN Cloud

論文の概要: Hyperparameter Optimization as a Service on INFN Cloud

arxiv url: http://arxiv.org/abs/2301.05522v1
Date: Fri, 13 Jan 2023 12:57:48 GMT
ステータス: 処理完了
システム内更新日: 2023-01-16 15:39:15.259373
Title: Hyperparameter Optimization as a Service on INFN Cloud
Title（参考訳）: INFNクラウド上のサービスとしてのハイパーパラメータ最適化
Authors: Matteo Barbetti and Lucio Anderlini
Abstract要約: 我々は、単純なHTTPリクエストを通じて、勾配のない最適化技術を用いて、複数のトレーニングインスタンスを監視し、おそらく調整するためのINFN Cloudベースの専用サービスを提示します。 Hopaasという名前のこのサービスは、WebインターフェースとAPIセットで構成されており、INFN Cloudの仮想インスタンスでUvicornとNGINXを経由するFastAPIバックエンドで実装されている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The simplest and often most effective way of parallelizing the training of complex machine learning models is to execute several training instances on multiple machines, possibly scanning the hyperparameter space to optimize the underlying statistical model and the learning procedure. Often, such a meta learning procedure is limited by the ability of accessing securely a common database organizing the knowledge of the previous and ongoing trials. Exploiting opportunistic GPUs provided in different environments represents a further challenge when designing such optimization campaigns. In this contribution we discuss how a set of RestAPIs can be used to access a dedicated service based on INFN Cloud to monitor and possibly coordinate multiple training instances, with gradient-less optimization techniques, via simple HTTP requests. The service, named Hopaas (Hyperparameter OPtimization As A Service), is made of web interface and sets of APIs implemented with a FastAPI back-end running through Uvicorn and NGINX in a virtual instance of INFN Cloud. The optimization algorithms are currently based on Bayesian techniques as provided by Optuna. A Python front-end is also made available for quick prototyping. We present applications to hyperparameter optimization campaigns performed combining private, INFN Cloud and CINECA resources.
Abstract（参考訳）: 複雑な機械学習モデルのトレーニングを並列化する最も単純かつ最も効果的な方法は、複数のマシンで複数のトレーニングインスタンスを実行し、おそらくハイパーパラメータ空間をスキャンして基礎となる統計モデルと学習手順を最適化する。多くの場合、このようなメタ学習手順は、前回および進行中の試行の知識を組織化する共通のデータベースに安全にアクセスする能力によって制限される。異なる環境で提供されるオポチュニティGPUの爆発は、そのような最適化キャンペーンを設計する際のさらなる課題である。このコントリビューションでは、シンプルなHTTPリクエストを通じて、RestAPIのセットを使ってINFN Cloudベースの専用サービスにアクセスして、複数のトレーニングインスタンスを監視し、おそらく調整する方法について論じます。 Hopaas(Hyperparameter Optitimization As A Service)という名前のこのサービスは、Webインターフェースと、INFN Cloudの仮想インスタンスでUvicornとNGINXを経由するFastAPIバックエンドで実装されたAPIセットで構成されている。最適化アルゴリズムは現在、オプトゥーナが提供するベイズ手法に基づいている。 pythonフロントエンドもクイックプロトタイピング用に提供されている。我々は、プライベート、INFNクラウド、CINECAリソースを組み合わせたハイパーパラメータ最適化キャンペーンに応用する。

関連論文リスト

Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文参考訳（メタデータ） (2023-03-25T14:40:59Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
論文参考訳（メタデータ） (2022-06-15T10:23:19Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文参考訳（メタデータ） (2022-01-27T21:38:53Z)
SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文参考訳（メタデータ） (2021-12-22T14:45:37Z)
Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
論文参考訳（メタデータ） (2021-03-07T20:41:57Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
MLComp: A Methodology for Machine Learning-based Performance Estimation and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences [10.200899224740871]
組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。異なる機械学習モデルが自動的にテストされ、最適なものを選択する。また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
論文参考訳（メタデータ） (2020-12-09T19:13:39Z)
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization [12.92634461859467]
本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
論文参考訳（メタデータ） (2020-07-20T09:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。