論文の概要: Efficient Computer Vision on Edge Devices with Pipeline-Parallel Hierarchical Neural Networks

• arxiv url: http://arxiv.org/abs/2109.13356v1
• Date: Mon, 27 Sep 2021 21:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 04:56:41.927122
• Title: Efficient Computer Vision on Edge Devices with Pipeline-Parallel Hierarchical Neural Networks
• Title（参考訳）: パイプライン並列階層型ニューラルネットワークを用いたエッジデバイス上での効率的なコンピュータビジョン
• Authors: Abhinav Goel, Caleb Tung, Xiao Hu, George K. Thiruvathukal, James C. Davis, Yung-Hsiang Lu
• Abstract要約: ディープニューラルネットワーク(DNN)のような最先端のコンピュータビジョンアルゴリズムは、低消費電力エッジデバイスでの推論には大きすぎる。 本稿では,階層型DNNアーキテクチャが複数のエッジデバイス上での並列処理に適していることを示す。 4つの低消費電力エッジデバイスで、我々の手法は3.21倍高いスループットを実現し、1フレームあたりのデバイス当たりのエネルギー消費量を68%削減し、58%のメモリ削減を実現した。
• 参考スコア（独自算出の注目度）: 5.061971419647377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer vision on low-power edge devices enables applications including search-and-rescue and security. State-of-the-art computer vision algorithms, such as Deep Neural Networks (DNNs), are too large for inference on low-power edge devices. To improve efficiency, some existing approaches parallelize DNN inference across multiple edge devices. However, these techniques introduce significant communication and synchronization overheads or are unable to balance workloads across devices. This paper demonstrates that the hierarchical DNN architecture is well suited for parallel processing on multiple edge devices. We design a novel method that creates a parallel inference pipeline for computer vision problems that use hierarchical DNNs. The method balances loads across the collaborating devices and reduces communication costs to facilitate the processing of multiple video frames simultaneously with higher throughput. Our experiments consider a representative computer vision problem where image recognition is performed on each video frame, running on multiple Raspberry Pi 4Bs. With four collaborating low-power edge devices, our approach achieves 3.21X higher throughput, 68% less energy consumption per device per frame, and 58% decrease in memory when compared with existing single-device hierarchical DNNs.
• Abstract（参考訳）: 低消費電力エッジデバイス上でのコンピュータビジョンは、検索と救助とセキュリティを含むアプリケーションを可能にする。 ディープニューラルネットワーク(DNN)のような最先端のコンピュータビジョンアルゴリズムは、低消費電力エッジデバイスでの推論には大きすぎる。 効率を改善するために、既存のアプローチではDNN推論を複数のエッジデバイスに並列化している。 しかし、これらの技術は大きな通信と同期のオーバーヘッドをもたらしたり、デバイス間でワークロードのバランスをとることができない。 本稿では,階層型DNNアーキテクチャが複数のエッジデバイス上での並列処理に適していることを示す。 階層型DNNを用いたコンピュータビジョン問題に対して並列推論パイプラインを生成する新しい手法を設計する。 協調装置全体の負荷のバランスをとり、通信コストを低減し、スループットの向上と同時に複数のビデオフレームの処理を容易にする。 実験では,複数のraspberry pi 4b上で動作する各ビデオフレームで画像認識を行う代表的コンピュータビジョン問題について検討する。 4つの低消費電力エッジデバイスで,既存の単一デバイス階層DNNと比較して3.21倍のスループットを実現し,1フレームあたりの消費電力を68%削減し,メモリの58%削減を実現した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Ev-Edge: Efficient Execution of Event-based Vision Algorithms on Commodity Edge Platforms [10.104371980353973]
  Ev-Edgeは、エッジプラットフォーム上でのイベントベースのビジョンシステムのパフォーマンスを高めるために、3つの重要な最適化を含むフレームワークである。 様々な自律ナビゲーションタスクのための最先端ネットワークでは、Ev-Edgeはレイテンシが1.28x-2.05x改善され、エネルギーが1.23x-2.15xになった。
  論文  参考訳（メタデータ） (2024-03-23T04:44:55Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• SplitNets: Designing Neural Architectures for Efficient Distributed Computing on Head-Mounted Systems [10.43672981108678]
  SplitNetsはモデル設計、分割、通信の削減を同時に行うために導入された。 SplitNetsフレームワークは,既存のアプローチと比較して,SOTA(State-of-the-art)性能とシステム遅延を実現する。
  論文  参考訳（メタデータ） (2022-04-10T15:22:08Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Multi-Task Network Pruning and Embedded Optimization for Real-time Deployment in ADAS [0.0]
  カメラベースのディープラーニングアルゴリズムは、自動運転システムにおける認識にますます必要である。 自動車業界からの制約は、限られた計算リソースで組み込みシステムを課すことでCNNの展開に挑戦します。 商用プロトタイププラットフォーム上で,このような条件下でマルチタスクCNNネットワークを埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2021-01-19T19:29:38Z)
• LCP: A Low-Communication Parallelization Method for Fast Neural Network Inference in Image Recognition [33.581285906182075]
  そこで本研究では, ほぼ独立な複数の枝と狭い枝からなるモデルを用いた低通信並列化手法を提案する。 当社では,AWSインスタンス,Raspberry Pi,PYNQボードという,3つの分散システムにLCPモデルをデプロイしています。 LCPモデルは、オリジナルのモデルと比べて56倍と7倍の平均的なスピードアップを達成し、平均的なスピードアップを33倍に改善することができた。
  論文  参考訳（メタデータ） (2020-03-13T19:52:44Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。