論文の概要: HADAS: Hardware-Aware Dynamic Neural Architecture Search for Edge Performance Scaling

• arxiv url: http://arxiv.org/abs/2212.03354v1
• Date: Tue, 6 Dec 2022 22:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:05:53.302560
• Title: HADAS: Hardware-Aware Dynamic Neural Architecture Search for Edge Performance Scaling
• Title（参考訳）: HADAS:エッジパフォーマンススケーリングのためのハードウェア対応動的ニューラルネットワーク検索
• Authors: Halima Bouzidi, Mohanad Odema, Hamza Ouarnoughi, Mohammad Abdullah Al Faruque, Smail Niar
• Abstract要約: 動的ニューラルネットワーク(DyNN)は、リソース制約されたエッジデバイス上でのインテリジェンスを実現するための有効な技術となっている。 多くの場合、設計段階で基盤となるバックボーンアーキテクチャが開発されているため、DyNNの実装は準最適である。 我々は、バックボーン、早期終了機能、DVFS設定が協調的に最適化されたDyNNアーキテクチャを実現する新しいハードウェア対応動的ニューラルネットワーク探索フレームワークであるHADASを提案する。
• 参考スコア（独自算出の注目度）: 8.29394286023338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic neural networks (DyNNs) have become viable techniques to enable intelligence on resource-constrained edge devices while maintaining computational efficiency. In many cases, the implementation of DyNNs can be sub-optimal due to its underlying backbone architecture being developed at the design stage independent of both: (i) the dynamic computing features, e.g. early exiting, and (ii) the resource efficiency features of the underlying hardware, e.g., dynamic voltage and frequency scaling (DVFS). Addressing this, we present HADAS, a novel Hardware-Aware Dynamic Neural Architecture Search framework that realizes DyNN architectures whose backbone, early exiting features, and DVFS settings have been jointly optimized to maximize performance and resource efficiency. Our experiments using the CIFAR-100 dataset and a diverse set of edge computing platforms have seen HADAS dynamic models achieve up to 57% energy efficiency gains compared to the conventional dynamic ones while maintaining the desired level of accuracy scores. Our code is available at https://github.com/HalimaBouzidi/HADAS
• Abstract（参考訳）: 動的ニューラルネットワーク(DyNN)は、計算効率を保ちながらリソース制約されたエッジデバイス上でのインテリジェンスを実現するための有効な技術となっている。 多くの場合、DyNNの実装は、基礎となるバックボーンアーキテクチャが設計段階で開発されているため、下限の最適化が可能である。 (i)早期退社等の動的コンピューティング機能、 (II) 基盤となるハードウェア、例えば動的電圧および周波数スケーリング(DVFS)の資源効率特性。 HADASは,性能と資源効率を最大化するために,バックボーン,早期終了機能,DVFS設定を協調的に最適化した,DyNNアーキテクチャを実現する新しいハードウェア対応動的ニューラルネットワーク検索フレームワークである。 CIFAR-100データセットと様々なエッジコンピューティングプラットフォームを用いた実験では、HADASのダイナミックモデルが従来の動的モデルと比較して最大57%のエネルギー効率向上を実現し、所望の精度スコアを維持した。 私たちのコードはhttps://github.com/HalimaBouzidi/HADASで利用可能です。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
  ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。 この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
  論文  参考訳（メタデータ） (2024-08-07T22:40:05Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
  本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。 LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
  論文  参考訳（メタデータ） (2020-06-22T17:19:09Z)
• Neural Architecture Optimization with Graph VAE [21.126140965779534]
  連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。 フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
  論文  参考訳（メタデータ） (2020-06-18T07:05:48Z)
• Nimble: Efficiently Compiling Dynamic Neural Networks for Model Inference [22.267489467486467]
  本論文では、複数のプラットフォーム上で動的ニューラルネットワークを最適化、コンパイル、実行するための高性能で柔軟なシステムであるNimbleを提案する。 我々の評価では、Ninmbleは、ハードウェアプラットフォーム上で、動的ニューラルネットワークのための最先端のディープラーニングフレームワークとランタイムシステムより最大20倍性能が高いことを示す。
  論文  参考訳（メタデータ） (2020-06-04T17:39:58Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。