論文の概要: SCAN-Edge: Finding MobileNet-speed Hybrid Networks for Diverse Edge Devices via Hardware-Aware Evolutionary Search
- arxiv url: http://arxiv.org/abs/2408.15395v1
- Date: Tue, 27 Aug 2024 20:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 17:52:31.903549
- Title: SCAN-Edge: Finding MobileNet-speed Hybrid Networks for Diverse Edge Devices via Hardware-Aware Evolutionary Search
- Title（参考訳）: SCAN-Edge: ハードウェア・アウェア進化探索による多様なエッジデバイスのための移動ネットワーク高速ハイブリッドネットワークの探索
- Authors: Hung-Yueh Chiang, Diana Marculescu,
- Abstract要約: 我々は,多種多様なエッジデバイスに対応するために,自己認識,畳み込み,アクティベーションを探索する統一NASフレームワークを提案する。
SCAN-Edgeは、サンプリングプロセスを高速化するために、検索空間の品質を改善するハードウェア対応の進化アルゴリズムに依存している。
- 参考スコア（独自算出の注目度）: 10.48978386515933
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Designing low-latency and high-efficiency hybrid networks for a variety of low-cost commodity edge devices is both costly and tedious, leading to the adoption of hardware-aware neural architecture search (NAS) for finding optimal architectures. However, unifying NAS for a wide range of edge devices presents challenges due to the variety of hardware designs, supported operations, and compilation optimizations. Existing methods often fix the search space of architecture choices (e.g., activation, convolution, or self-attention) and estimate latency using hardware-agnostic proxies (e.g., FLOPs), which fail to achieve proclaimed latency across various edge devices. To address this issue, we propose SCAN-Edge, a unified NAS framework that jointly searches for self-attention, convolution, and activation to accommodate the wide variety of edge devices, including CPU-, GPU-, and hardware accelerator-based systems. To handle the large search space, SCAN-Edge relies on with a hardware-aware evolutionary algorithm that improves the quality of the search space to accelerate the sampling process. Experiments on large-scale datasets demonstrate that our hybrid networks match the actual MobileNetV2 latency for 224x224 input resolution on various commodity edge devices.
- Abstract（参考訳）: 様々な低コストのコモディティエッジデバイス向けに低レイテンシと高効率のハイブリッドネットワークを設計することは費用がかかり、面倒であり、最適なアーキテクチャを見つけるためにハードウェア対応のニューラルネットワークサーチ(NAS)が採用される。
しかし、幅広いエッジデバイスに対するNASの統合は、様々なハードウェア設計、サポートされた操作、コンパイル最適化などの課題を提起する。
既存の手法では、アーキテクチャ選択の検索スペース(例えば、アクティベーション、畳み込み、自己アテンション)を固定し、ハードウェアに依存しないプロキシ(例えば、FLOP)を用いて遅延を推定する。
この問題に対処するために、我々は、CPU、GPU、ハードウェアアクセラレーションベースのシステムを含む幅広いエッジデバイスに対応するために、自己注意、畳み込み、アクティベーションを共同で検索する統合NASフレームワークであるSCAN-Edgeを提案する。
大規模な検索空間を扱うために、SCAN-Edgeは、サンプリングプロセスを高速化するために、検索空間の品質を改善するハードウェア対応の進化アルゴリズムに依存している。
大規模データセットの実験により、我々のハイブリッドネットワークは、様々なコモディティエッジデバイスで224x224入力解像度で実際のMobileNetV2レイテンシと一致していることが示された。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳（メタデータ） (2024-07-25T16:35:46Z) - Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。
提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
論文 参考訳（メタデータ） (2024-02-28T10:09:04Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:08:20Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2022-04-27T14:00:48Z) - Searching for Efficient Neural Architectures for On-Device ML on Edge
TPUs [10.680700357879601]
ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。
既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。
i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
論文 参考訳（メタデータ） (2022-04-09T00:35:19Z) - EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture
Search [32.23992012207146]
エンド・ツー・エンドハードウェア・アウェアDNAS(EH-DNAS)を用いて、ハードウェア効率の良いディープニューラルネットワークを様々なプラットフォームで提供する。
EH-DNASはハードウェアの性能を、カスタマイズされたアクセラレータで平均14時間、既存のハードウェアプロセッサで平均16時間改善する。
論文 参考訳（メタデータ） (2021-11-24T06:45:30Z) - One Proxy Device Is Enough for Hardware-Aware Neural Architecture Search [21.50120377137633]
畳み込みニューラルネットワーク(CNN)は、ビジョンベースの自律運転やビデオコンテンツ分析など、多くの現実世界のアプリケーションで使用されている。
さまざまなターゲットデバイス上でCNN推論を実行するためには、ハードウェア対応のニューラルアーキテクチャサーチ(NAS)が不可欠である。
本稿では、遅延単調性を大幅に向上させる効率的なプロキシ適応手法を提案する。
論文 参考訳（メタデータ） (2021-11-01T18:56:42Z) - Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture
and Pruning Search [64.80878113422824]
リアルタイムの推論要求を満たすとともに、画像品質の高いスパース超解像モデル(SR)を導出する自動探索フレームワークを提案する。
提案したフレームワークでは、競合画像の品質を持つ720pの解像度を実現するために、リアルタイムSR推論(フレームあたり数ミリ秒)を初めて実現している。
論文 参考訳（メタデータ） (2021-08-18T06:47:31Z) - HSCoNAS: Hardware-Software Co-Design of Efficient DNNs via Neural
Architecture Search [6.522258468923919]
深層ニューラルネットワーク(DNN)の設計を自動化するため,新しいハードウェア対応ニューラルアーキテクチャサーチ(NAS)フレームワークであるHSCoNASを提案する。
この目的を達成するために,まず,ターゲットハードウェア上でのdnnのランタイム遅延を近似する効果的なハードウェア性能モデリング手法を提案する。
また, 動的チャネルスケーリングにより, 指定されたレイテンシとプログレッシブスペースの縮小下での精度を最大化し, 対象ハードウェアに対する検索空間を改良する手法を提案する。
論文 参考訳（メタデータ） (2021-03-11T12:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。