論文の概要: Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks
- arxiv url: http://arxiv.org/abs/2305.14109v1
- Date: Tue, 23 May 2023 14:31:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 15:44:43.792867
- Title: Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks
- Title（参考訳）: ニューラルネットワークの多目的ベイズ最適化のための拡張ランダム探索
- Authors: Mark Deutel, Georgios Kontes, Christopher Mutschler, J\"urgen Teich
- Abstract要約: ディープニューラルネットワーク(DNN)の圧縮に多目的最適化アプローチを用いることができる
本稿では,RL(Augmented Random Search Reinforcement Learning)エージェントを用いて学習した,競合するパラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
提案手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的としている。
- 参考スコア（独自算出の注目度）: 1.4050836886292872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying Deep Neural Networks (DNNs) on tiny devices is a common trend to
process the increasing amount of sensor data being generated. Multi-objective
optimization approaches can be used to compress DNNs by applying network
pruning and weight quantization to minimize the memory footprint (RAM), the
number of parameters (ROM) and the number of floating point operations (FLOPs)
while maintaining the predictive accuracy. In this paper, we show that existing
multi-objective Bayesian optimization (MOBOpt) approaches can fall short in
finding optimal candidates on the Pareto front and propose a novel solver based
on an ensemble of competing parametric policies trained using an Augmented
Random Search Reinforcement Learning (RL) agent. Our methodology aims at
finding feasible tradeoffs between a DNN's predictive accuracy, memory
consumption on a given target system, and computational complexity. Our
experiments show that we outperform existing MOBOpt approaches consistently on
different data sets and architectures such as ResNet-18 and MobileNetV3.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)を小さなデバイスにデプロイすることは、センサデータ生成量の増加を処理する一般的なトレンドである。
メモリフットプリント(RAM)、パラメータ数(ROM)、浮動小数点演算数(FLOP)を最小化するためにネットワークプルーニングと重み量子化を適用してDNNを圧縮するために多目的最適化手法を用いることができる。
本稿では,既存の多目的ベイズ最適化 (MOBOpt) アプローチがパレートフロントにおける最適候補の発見に不足していることを示すとともに,拡張ランダム探索強化学習 (RL) エージェントを用いて訓練された競合パラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
本手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的とする。
実験の結果,既存のMOBOptアプローチをResNet-18やMobileNetV3など,さまざまなデータセットやアーキテクチャ上で一貫した性能を発揮することがわかった。
関連論文リスト
- Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳（メタデータ） (2024-11-03T16:42:10Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳（メタデータ） (2023-10-17T09:25:17Z) - Enhancing Neural Architecture Search with Multiple Hardware Constraints
for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。
単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
論文 参考訳（メタデータ） (2023-10-11T06:09:14Z) - Compact: Approximating Complex Activation Functions for Secure Computation [15.801954240019176]
Compactは、最先端のMPC技術で効率的な使用を可能にするために、複雑なAFのピースワイズ近似を生成する。
隠れ層が多いDNNモデルに対して,2x-5倍の精度で非無視精度の損失を生じさせることを示す。
論文 参考訳（メタデータ） (2023-09-09T02:44:41Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - PLiNIO: A User-Friendly Library of Gradient-based Methods for
Complexity-aware DNN Optimization [3.460496851517031]
PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。
PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
論文 参考訳（メタデータ） (2023-07-18T07:11:14Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。