論文の概要: Latency-Aware Neural Architecture Search with Multi-Objective Bayesian
Optimization
- arxiv url: http://arxiv.org/abs/2106.11890v1
- Date: Tue, 22 Jun 2021 15:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 14:48:11.101077
- Title: Latency-Aware Neural Architecture Search with Multi-Objective Bayesian
Optimization
- Title(参考訳): 多目的ベイズ最適化によるレイテンシアウェアニューラルアーキテクチャ探索
- Authors: David Eriksson, Pierce I-Jen Chuang, Sam Daulton, Ahmed Aly, Arun
Babu, Akshat Shrivastava, Peng Xia, Shicong Zhao, Ganesh Venkatesh,
Maximilian Balandat
- Abstract要約: 我々は、高次元検索空間におけるベイズ最適化の方法論的進歩と多目的ベイズ最適化を利用して、これらのトレードオフを探究し、Facebookの大規模オンデバイス自然言語理解モデルを構築した。
- 参考スコア(独自算出の注目度): 6.336877151493941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When tuning the architecture and hyperparameters of large machine learning
models for on-device deployment, it is desirable to understand the optimal
trade-offs between on-device latency and model accuracy. In this work, we
leverage recent methodological advances in Bayesian optimization over
high-dimensional search spaces and multi-objective Bayesian optimization to
efficiently explore these trade-offs for a production-scale on-device natural
language understanding model at Facebook.
- Abstract(参考訳): オンデバイスデプロイメントのための大規模機械学習モデルのアーキテクチャとハイパーパラメータをチューニングする場合、オンデバイスレイテンシとモデルの精度の間の最適なトレードオフを理解することが望ましい。
本研究では,高次元探索空間におけるベイズ最適化の最近の方法論的進歩と多目的ベイズ最適化を活用し,facebookにおける大規模オンデバイス自然言語理解モデルのためのトレードオフを効率的に検討する。
関連論文リスト
- BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - A Survey on Multi-Objective based Parameter Optimization for Deep
Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。
これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-05-17T07:48:54Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - Fair and Green Hyperparameter Optimization via Multi-objective and
Multiple Information Source Bayesian Optimization [0.19116784879310028]
FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似を得る。
実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズムが検討されている。
論文 参考訳(メタデータ) (2022-05-18T10:07:21Z) - Learning Where To Look -- Generative NAS is Surprisingly Efficient [11.83842808044211]
本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。
このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
論文 参考訳(メタデータ) (2022-03-16T16:27:11Z) - Bayesian Optimization and Deep Learning forsteering wheel angle
prediction [58.720142291102135]
本研究の目的は,自動走行システムにおける操舵角度予測の精度の高いモデルを得ることである。
BOは限られた試行数で、BOST-LSTMと呼ばれるモデルを特定し、古典的なエンドツーエンド駆動モデルと比較して最も正確な結果を得た。
論文 参考訳(メタデータ) (2021-10-22T15:25:14Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳(メタデータ) (2020-08-02T02:56:30Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-06-18T19:11:54Z) - Weighting Is Worth the Wait: Bayesian Optimization with Importance
Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。
評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文 参考訳(メタデータ) (2020-02-23T15:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。