論文の概要: Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization
- arxiv url: http://arxiv.org/abs/2012.08489v1
- Date: Tue, 15 Dec 2020 18:34:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:39:58.845880
- Title: Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization
- Title（参考訳）: Amazon SageMaker自動モデルチューニング:スケーラブルなブラックボックス最適化
- Authors: Valerio Perrone, Huibin Shen, Aida Zolic, Iaroslav Shcherbatyi, Amr
Ahmed, Tanya Bansal, Michele Donini, Fela Winkelmolen, Rodolphe Jenatton,
Jean Baptiste Faddoul, Barbara Pogorzelska, Miroslav Miladinovic, Krishnaram
Kenthapadi, Matthias Seeger, C\'edric Archambeau
- Abstract要約: Amazon SageMaker Automatic Model Tuning(AMT)は、大規模なブラックボックス最適化のためのフルマネージドシステムです。
AMTは、異なるハイパーパラメータ構成で繰り返しトレーニングすることで、機械学習モデルの最良のバージョンを見つける。
組み込みアルゴリズム、カスタムアルゴリズム、マシンラーニングフレームワーク用に構築されたAmazon SageMakerコンテナで使用することができる。
- 参考スコア（独自算出の注目度）: 23.52446054521187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tuning complex machine learning systems is challenging. Machine learning
models typically expose a set of hyperparameters, be it regularization,
architecture, or optimization parameters, whose careful tuning is critical to
achieve good performance. To democratize access to such systems, it is
essential to automate this tuning process. This paper presents Amazon SageMaker
Automatic Model Tuning (AMT), a fully managed system for black-box optimization
at scale. AMT finds the best version of a machine learning model by repeatedly
training it with different hyperparameter configurations. It leverages either
random search or Bayesian optimization to choose the hyperparameter values
resulting in the best-performing model, as measured by the metric chosen by the
user. AMT can be used with built-in algorithms, custom algorithms, and Amazon
SageMaker pre-built containers for machine learning frameworks. We discuss the
core functionality, system architecture and our design principles. We also
describe some more advanced features provided by AMT, such as automated early
stopping and warm-starting, demonstrating their benefits in experiments.
- Abstract（参考訳）: 複雑な機械学習システムのチューニングは難しい。
機械学習モデルは、通常、正規化、アーキテクチャ、最適化パラメータといった一連のハイパーパラメータを公開する。
このようなシステムへのアクセスを民主化するには、このチューニングプロセスを自動化する必要がある。
本稿では,大規模なブラックボックス最適化システムであるAmazon SageMaker Automatic Model Tuning (AMT)を提案する。
AMTは、異なるハイパーパラメータ構成で繰り返しトレーニングすることで、機械学習モデルの最良のバージョンを見つける。
ランダム検索またはベイズ最適化のいずれかを利用して、ユーザが選択したメトリックによって測定されるように、最高のパフォーマンスモデルをもたらすハイパーパラメータ値を選択する。
amtは、組み込みアルゴリズム、カスタムアルゴリズム、および機械学習フレームワーク用のamazon sagemakerプリビルドコンテナで使用することができる。
コア機能、システムアーキテクチャ、設計原則について論じます。
また,amtの提供するより高度な機能として,早期停止の自動化やウォームスタート,実験でのメリットの実証なども紹介する。
関連論文リスト
- SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees [3.6449336503217786]
グラディエント強化木(GBT)は、研究者、機械学習(ML)実践者、データサイエンティストが使用するユビキタスモデルである。
GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchを提案する。
論文 参考訳（メタデータ） (2023-07-10T18:40:25Z) - Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。
既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。
6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2023-05-15T06:40:56Z) - Deep learning based Auto Tuning for Database Management System [0.12891210250935148]
本研究では,Ottertuneをベースとした自動手法を拡張し,従来のセッションから収集したデータを再利用し,教師付きおよび教師なしの機械学習手法を用いて新たなデプロイメントをチューニングし,遅延予測を改善する。
我々は、GMMクラスタリングを使用してメトリクスをプルークし、RandomForestのようなアンサンブルモデルとニューラルネットワークのような非線形モデルを組み合わせて予測モデルを作成します。
論文 参考訳（メタデータ） (2023-04-25T11:52:52Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳（メタデータ） (2022-11-17T18:39:07Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-05-30T16:55:59Z) - Mining Robust Default Configurations for Resource-constrained AutoML [18.326426020906215]
本稿では,オフラインのAutoMLを実行し,多様なタスクに対してマイニングを行うことにより,与えられたタスクに対するパフォーマンス設定を選択する新しい方法を提案する。
当社のアプローチは,既存のAutoMLプラットフォームを温める上で有効であることを示す。
論文 参考訳（メタデータ） (2022-02-20T23:08:04Z) - To tune or not to tune? An Approach for Recommending Important
Hyperparameters [2.121963121603413]
機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。
この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
論文 参考訳（メタデータ） (2021-08-30T08:54:58Z) - Experimental Investigation and Evaluation of Model-based Hyperparameter
Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。
Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文 参考訳（メタデータ） (2021-07-19T11:37:37Z) - AutoFIS: Automatic Feature Interaction Selection in Factorization Models
for Click-Through Rate Prediction [75.16836697734995]
自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。
AutoFISは、目標モデルを収束させるためにトレーニングするのと同等の計算コストで、因子化モデルに対する重要な特徴的相互作用を自動的に識別することができる。
AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされている。
論文 参考訳（メタデータ） (2020-03-25T06:53:54Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳（メタデータ） (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。