論文の概要: Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks
- arxiv url: http://arxiv.org/abs/2305.14109v1
- Date: Tue, 23 May 2023 14:31:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 15:44:43.792867
- Title: Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks
- Title(参考訳): ニューラルネットワークの多目的ベイズ最適化のための拡張ランダム探索
- Authors: Mark Deutel, Georgios Kontes, Christopher Mutschler, J\"urgen Teich
- Abstract要約: ディープニューラルネットワーク(DNN)の圧縮に多目的最適化アプローチを用いることができる
本稿では,RL(Augmented Random Search Reinforcement Learning)エージェントを用いて学習した,競合するパラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
提案手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的としている。
- 参考スコア(独自算出の注目度): 1.4050836886292872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying Deep Neural Networks (DNNs) on tiny devices is a common trend to
process the increasing amount of sensor data being generated. Multi-objective
optimization approaches can be used to compress DNNs by applying network
pruning and weight quantization to minimize the memory footprint (RAM), the
number of parameters (ROM) and the number of floating point operations (FLOPs)
while maintaining the predictive accuracy. In this paper, we show that existing
multi-objective Bayesian optimization (MOBOpt) approaches can fall short in
finding optimal candidates on the Pareto front and propose a novel solver based
on an ensemble of competing parametric policies trained using an Augmented
Random Search Reinforcement Learning (RL) agent. Our methodology aims at
finding feasible tradeoffs between a DNN's predictive accuracy, memory
consumption on a given target system, and computational complexity. Our
experiments show that we outperform existing MOBOpt approaches consistently on
different data sets and architectures such as ResNet-18 and MobileNetV3.
- Abstract(参考訳): 深層ニューラルネットワーク(dnn)を小さなデバイスにデプロイすることは、センサデータ生成量の増加を処理する一般的なトレンドである。
メモリフットプリント(RAM)、パラメータ数(ROM)、浮動小数点演算数(FLOP)を最小化するためにネットワークプルーニングと重み量子化を適用してDNNを圧縮するために多目的最適化手法を用いることができる。
本稿では,既存の多目的ベイズ最適化 (MOBOpt) アプローチがパレートフロントにおける最適候補の発見に不足していることを示すとともに,拡張ランダム探索強化学習 (RL) エージェントを用いて訓練された競合パラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
本手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的とする。
実験の結果,既存のMOBOptアプローチをResNet-18やMobileNetV3など,さまざまなデータセットやアーキテクチャ上で一貫した性能を発揮することがわかった。
関連論文リスト
- Deep learning enhanced mixed integer optimization: Learning to reduce
model dimensionality [0.0]
この研究は、MIP(Mixed-Integer Programming)モデルに固有の計算複雑性に対処するフレームワークを導入する。
フィードフォワードニューラルネットワーク(ANN)と畳み込みニューラルネットワーク(CNN)のMIP問題における活性次元の近似における有効性を比較した。
論文 参考訳(メタデータ) (2024-01-17T19:15:13Z) - Towards A Flexible Accuracy-Oriented Deep Learning Module Inference
Latency Prediction Framework for Adaptive Optimization Algorithms [0.552480439325792]
本稿では,ディープラーニングモジュール推論遅延予測フレームワークを提案する。
DNNモジュールごとに複数のRMをトレーニングするために、カスタマイズ可能な入力パラメータのセットをホストする。
トレーニングされたRMのセットを自動的に選択し、全体的な予測精度が最高になる。
論文 参考訳(メタデータ) (2023-12-11T15:15:48Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Probabilistic MIMO U-Net: Efficient and Accurate Uncertainty Estimation
for Pixel-wise Regression [1.4528189330418977]
機械学習における不確実性推定は、予測モデルの信頼性と解釈可能性を高めるための最重要課題である。
画素ワイド回帰タスクに対するMIMO(Multiple-Input Multiple-Output)フレームワークの適応について述べる。
論文 参考訳(メタデータ) (2023-08-14T22:08:28Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳(メタデータ) (2023-01-26T12:32:01Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳(メタデータ) (2020-12-04T19:50:09Z) - MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point
Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。
我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文 参考訳(メタデータ) (2020-05-01T14:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。