論文の概要: Towards Real-Time DNN Inference on Mobile Platforms with Model Pruning and Compiler Optimization

• arxiv url: http://arxiv.org/abs/2004.11250v1
• Date: Wed, 22 Apr 2020 03:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 18:06:07.370834
• Title: Towards Real-Time DNN Inference on Mobile Platforms with Model Pruning and Compiler Optimization
• Title（参考訳）: モデルプルーニングとコンパイラ最適化によるモバイルプラットフォームでのリアルタイムdnn推論
• Authors: Wei Niu, Pu Zhao, Zheng Zhan, Xue Lin, Yanzhi Wang, Bin Ren
• Abstract要約: ハイエンドなモバイルプラットフォームは、幅広いDeep Neural Network (DNN)アプリケーションのための主要なコンピューティングデバイスとして機能する。 これらのデバイス上の制約付き計算とストレージリソースは、リアルタイムの推論実行に重大な課題をもたらす。 モバイル端末上でのDNN実行を高速化するハードウェアフレンドリーな構造化モデルプルーニングとコンパイラ最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 56.3111706960878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-end mobile platforms rapidly serve as primary computing devices for a wide range of Deep Neural Network (DNN) applications. However, the constrained computation and storage resources on these devices still pose significant challenges for real-time DNN inference executions. To address this problem, we propose a set of hardware-friendly structured model pruning and compiler optimization techniques to accelerate DNN executions on mobile devices. This demo shows that these optimizations can enable real-time mobile execution of multiple DNN applications, including style transfer, DNN coloring and super resolution.
• Abstract（参考訳）: ハイエンドなモバイルプラットフォームは、広範囲のDeep Neural Network (DNN)アプリケーションのためのプライマリコンピューティングデバイスとして急速に機能している。 しかし、これらのデバイス上の制約付き計算とストレージリソースは、リアルタイムDNN推論実行に依然として大きな課題を生んでいる。 そこで本研究では,モバイル端末上でのDNN実行を高速化するハードウェアフレンドリーな構造化モデルプルーニングとコンパイラ最適化手法を提案する。 このデモでは、これらの最適化により、スタイル転送、DNNカラー化、スーパー解像度など、複数のDNNアプリケーションのリアルタイムモバイル実行が可能になる。

関連論文リスト

• SwapNet: Efficient Swapping for DNN Inference on Edge AI Devices Beyond the Memory Budget [18.63754969602021]
  エッジ人工知能(AI)デバイス上のディープニューラルネットワーク(DNN)は、さまざまな自律的なモバイルコンピューティングアプリケーションを可能にする。 モデル圧縮やクラウドオフロードといった既存のソリューションは、DNN推論のメモリフットプリントを減らす。 We developed SwapNet, a efficient block swapping ecosystem for edge AI devices。
  論文  参考訳（メタデータ） (2024-01-30T05:29:49Z)
• Adaptive DNN Surgery for Selfish Inference Acceleration with On-demand Edge Resource [25.274288063300844]
  ディープニューラルネットワーク(DNN)は、モバイルデバイス上のインテリジェントアプリケーションの精度を大幅に改善した。 DNN手術は、モバイルデバイスの計算能力に制限があるにもかかわらず、リアルタイムの推論を可能にする。 本稿では,分散DNN手術(Decentralized DNN Surgery, DDS)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2023-06-21T11:32:28Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity [46.75304109970339]
  本稿では、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方に汎用的な新しいモバイル推論加速フレームワークGRIMを設計する。 ブロックベースカラムロープルーニング(BCR)による微細粒度構造解析手法を提案する。 我々のGRIMフレームワークは、この新たなきめ細かな構造化された空間に基づいて、(a)リアルタイムモバイル推論のためのコンパイラ最適化とコード生成という2つの部分で構成されています。
  論文  参考訳（メタデータ） (2021-08-25T03:50:46Z)
• DynO: Dynamic Onloading of Deep Neural Networks from Cloud to Device [17.43467167013752]
  両世界のベストを組み合わせ、いくつかの課題に取り組む分散推論フレームワークであるDynOを紹介します。 DynO が現在の最先端のパフォーマンスを上回り、デバイスのみの実行よりも桁違いにスループットが向上していることを示します。
  論文  参考訳（メタデータ） (2021-04-20T13:20:15Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。