論文の概要: MONAS: Efficient Zero-Shot Neural Architecture Search for MCUs
- arxiv url: http://arxiv.org/abs/2408.15034v1
- Date: Mon, 26 Aug 2024 10:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 13:53:43.167427
- Title: MONAS: Efficient Zero-Shot Neural Architecture Search for MCUs
- Title（参考訳）: MONAS: MCUの効率的なゼロショットニューラルネットワーク検索
- Authors: Ye Qiao, Haocheng Xu, Yifan Zhang, Sitao Huang,
- Abstract要約: MONASは、エッジコンピューティングのマイクロコントローラ(MCU)用に特別に設計された、ゼロショットNASフレームワークである。
MONASは、MCUをターゲットとした以前の作業よりも1104倍の検索効率向上を実現している。
MONASは、より一般的なNASアプローチと同じような精度を維持しながら、MCUの3.23倍高速な推測でCNNモデルを発見することができる。
- 参考スコア（独自算出の注目度）: 5.321424657585365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) has proven effective in discovering new Convolutional Neural Network (CNN) architectures, particularly for scenarios with well-defined accuracy optimization goals. However, previous approaches often involve time-consuming training on super networks or intensive architecture sampling and evaluations. Although various zero-cost proxies correlated with CNN model accuracy have been proposed for efficient architecture search without training, their lack of hardware consideration makes it challenging to target highly resource-constrained edge devices such as microcontroller units (MCUs). To address these challenges, we introduce MONAS, a novel hardware-aware zero-shot NAS framework specifically designed for MCUs in edge computing. MONAS incorporates hardware optimality considerations into the search process through our proposed MCU hardware latency estimation model. By combining this with specialized performance indicators (proxies), MONAS identifies optimal neural architectures without incurring heavy training and evaluation costs, optimizing for both hardware latency and accuracy under resource constraints. MONAS achieves up to a 1104x improvement in search efficiency over previous work targeting MCUs and can discover CNN models with over 3.23x faster inference on MCUs while maintaining similar accuracy compared to more general NAS approaches.
- Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、新しい畳み込みニューラルネットワーク(CNN)アーキテクチャの発見に有効であることが証明されている。
しかし、従来のアプローチでは、スーパーネットワークでの時間を要するトレーニングや、集中的なアーキテクチャサンプリングと評価が伴っていた。
CNNモデルの精度と相関する様々なゼロコストプロキシが、トレーニング無しで効率的なアーキテクチャ探索のために提案されているが、ハードウェアの欠如により、マイクロコントローラユニット(MCU)のようなリソース制約の高いエッジデバイスをターゲットにすることは困難である。
これらの課題に対処するために,我々は,エッジコンピューティングにおけるMCUに特化したハードウェア対応ゼロショットNASフレームワークであるMONASを紹介した。
MONASは,提案したMCUハードウェア遅延推定モデルを用いて,検索プロセスにハードウェア最適性を考慮した。
これを特別なパフォーマンス指標(プロキシ)と組み合わせることで、MONASは、重いトレーニングと評価コストを伴わずに最適なニューラルネットワークを特定し、リソース制約下でのハードウェアレイテンシと精度の両方を最適化する。
MONASは、MCUをターゲットとした以前の作業よりも1104倍の検索効率向上を実現し、より一般的なNASアプローチに比べて精度を保ちながら、3.23倍高速なMCUのCNNモデルを発見できる。
関連論文リスト
- Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。
HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。
この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
論文 参考訳（メタデータ） (2024-08-07T22:40:05Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - MicroNAS: Zero-Shot Neural Architecture Search for MCUs [5.813274149871141]
ニューラルネットワーク探索(NAS)は、新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを効果的に発見する。
エッジコンピューティングにおけるマイクロコントローラユニット(MCU)のためのハードウェア対応ゼロショットNASフレームワークであるMicroNASを提案する。
以前の研究と比較すると、MicroNASは探索効率を最大1104倍改善し、3.23倍高速なMCU推論モデルを発見した。
論文 参考訳（メタデータ） (2024-01-17T06:17:42Z) - Neural Architecture Search for Improving Latency-Accuracy Trade-off in
Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。
スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。
本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳（メタデータ） (2022-08-30T03:15:43Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:08:20Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である
本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
論文 参考訳（メタデータ） (2021-08-01T23:46:48Z) - HSCoNAS: Hardware-Software Co-Design of Efficient DNNs via Neural
Architecture Search [6.522258468923919]
深層ニューラルネットワーク(DNN)の設計を自動化するため,新しいハードウェア対応ニューラルアーキテクチャサーチ(NAS)フレームワークであるHSCoNASを提案する。
この目的を達成するために,まず,ターゲットハードウェア上でのdnnのランタイム遅延を近似する効果的なハードウェア性能モデリング手法を提案する。
また, 動的チャネルスケーリングにより, 指定されたレイテンシとプログレッシブスペースの縮小下での精度を最大化し, 対象ハードウェアに対する検索空間を改良する手法を提案する。
論文 参考訳（メタデータ） (2021-03-11T12:21:21Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。