Fugu-MT 論文翻訳(概要): Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization

論文の概要: Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization

arxiv url: http://arxiv.org/abs/2106.11890v1
Date: Tue, 22 Jun 2021 15:59:08 GMT
ステータス: 処理完了
システム内更新日: 2021-06-23 14:48:11.101077
Title: Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization
Title（参考訳）: 多目的ベイズ最適化によるレイテンシアウェアニューラルアーキテクチャ探索
Authors: David Eriksson, Pierce I-Jen Chuang, Sam Daulton, Ahmed Aly, Arun Babu, Akshat Shrivastava, Peng Xia, Shicong Zhao, Ganesh Venkatesh, Maximilian Balandat
Abstract要約: 我々は、高次元検索空間におけるベイズ最適化の方法論的進歩と多目的ベイズ最適化を利用して、これらのトレードオフを探究し、Facebookの大規模オンデバイス自然言語理解モデルを構築した。
参考スコア（独自算出の注目度）: 6.336877151493941
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When tuning the architecture and hyperparameters of large machine learning models for on-device deployment, it is desirable to understand the optimal trade-offs between on-device latency and model accuracy. In this work, we leverage recent methodological advances in Bayesian optimization over high-dimensional search spaces and multi-objective Bayesian optimization to efficiently explore these trade-offs for a production-scale on-device natural language understanding model at Facebook.
Abstract（参考訳）: オンデバイスデプロイメントのための大規模機械学習モデルのアーキテクチャとハイパーパラメータをチューニングする場合、オンデバイスレイテンシとモデルの精度の間の最適なトレードオフを理解することが望ましい。本研究では,高次元探索空間におけるベイズ最適化の最近の方法論的進歩と多目的ベイズ最適化を活用し,facebookにおける大規模オンデバイス自然言語理解モデルのためのトレードオフを効率的に検討する。

関連論文リスト

Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
論文参考訳（メタデータ） (2024-11-11T04:36:58Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文参考訳（メタデータ） (2024-10-29T14:41:44Z)
Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文参考訳（メタデータ） (2024-07-12T09:24:34Z)
Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach [5.232806761554172]
我々は,海洋モデルに適したニューラルネットワークの開発を効率化するために,DeepHyperの多目的最適化に先進的な探索アルゴリズムを用いる。本研究では, 海洋力学予測におけるFNOの利用を向上する手法を示し, 精度を向上したスケーラブルなソリューションを提供する。
論文参考訳（メタデータ） (2024-04-07T14:29:23Z)
A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-05-17T07:48:54Z)
Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-06-14T06:28:04Z)
Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文参考訳（メタデータ） (2020-08-02T02:56:30Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文参考訳（メタデータ） (2020-02-23T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。