論文の概要: HAPI: Hardware-Aware Progressive Inference

• arxiv url: http://arxiv.org/abs/2008.03997v1
• Date: Mon, 10 Aug 2020 09:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 22:29:49.889230
• Title: HAPI: Hardware-Aware Progressive Inference
• Title（参考訳）: HAPI: ハードウェア対応のプログレッシブ推論
• Authors: Stefanos Laskaridis, Stylianos I. Venieris, Hyeji Kim and Nicholas D. Lane
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。 その人気にもかかわらず、CNN推論は依然として高い計算コストがかかる。 本研究は,ハイパフォーマンス・アーリーエグジット・ネットワークを創出するための新しい手法であるHAPIを提案する。
• 参考スコア（独自算出の注目度）: 18.214367595727037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have recently become the state-of-the-art in a diversity of AI tasks. Despite their popularity, CNN inference still comes at a high computational cost. A growing body of work aims to alleviate this by exploiting the difference in the classification difficulty among samples and early-exiting at different stages of the network. Nevertheless, existing studies on early exiting have primarily focused on the training scheme, without considering the use-case requirements or the deployment platform. This work presents HAPI, a novel methodology for generating high-performance early-exit networks by co-optimising the placement of intermediate exits together with the early-exit strategy at inference time. Furthermore, we propose an efficient design space exploration algorithm which enables the faster traversal of a large number of alternative architectures and generates the highest-performing design, tailored to the use-case requirements and target hardware. Quantitative evaluation shows that our system consistently outperforms alternative search mechanisms and state-of-the-art early-exit schemes across various latency budgets. Moreover, it pushes further the performance of highly optimised hand-crafted early-exit CNNs, delivering up to 5.11x speedup over lightweight models on imposed latency-driven SLAs for embedded devices.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。 その人気にもかかわらず、CNN推論は依然として計算コストが高い。 ネットワークの異なる段階で、サンプルの分類の難しさと早期終了の相違を生かして、この問題を緩和することを目的としている。 それでも、早期退避に関する既存の研究は、ユースケースやデプロイメントプラットフォームを考慮せずに、トレーニングスキームに重点を置いている。 本研究は,中間出口の配置を推論時の早期出口戦略とともに最適化することにより,高性能早期出口ネットワークを生成する新しい手法であるHAPIを提案する。 さらに,多数の代替アーキテクチャの高速トラバーサルを可能にし,ユースケース要件や対象ハードウェアに合わせて最もパフォーマンスの高い設計を生成する効率的な設計空間探索アルゴリズムを提案する。 定量的評価により,本システムは様々な遅延予算において,代替検索機構や最先端の早期実行方式を一貫して上回っていることが示された。 さらに、高度に最適化された手作りの初期のCNNの性能をさらに向上させ、組み込みデバイスに遅延駆動SLAを課す軽量モデルの最大5.11倍のスピードアップを提供する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Scaled-Time-Attention Robust Edge Network [2.4417312983418014]
  本稿では,貯水池型ニューラルネットワークの遅延ループバージョンに基づいて,ニューラルネットワークの新たなファミリーを構築するための体系的なアプローチについて述べる。 結果として得られたアーキテクチャは、STARE(Scaled-Time-Attention Robust Edge)ネットワークと呼ばれ、超次元空間と非乗算演算を利用する。 我々は、STAREがパフォーマンスを改善し、実装の複雑さを低減した様々なアプリケーションに適用可能であることを実証した。
  論文  参考訳（メタデータ） (2021-07-09T21:24:49Z)
• How to Reach Real-Time AI on Consumer Devices? Solutions for Programmable and Custom Architectures [7.085772863979686]
  ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。 このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。 クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-21T11:23:12Z)
• Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions [80.78077900288868]
  初期のネットワークの設計手法をその重要コンポーネントに分解し、各コンポーネントの最近の進歩を調査する。 我々は、他の効率的な推論ソリューションと早期に競合する立場をとり、この分野の研究における現在の課題と最も有望な今後の方向性についての洞察を提供する。
  論文  参考訳（メタデータ） (2021-06-09T12:33:02Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Automated Design Space Exploration for optimised Deployment of DNN on Arm Cortex-A CPUs [13.628734116014819]
  組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。 テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。 我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
  論文  参考訳（メタデータ） (2020-06-09T11:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。