論文の概要: Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision

• arxiv url: http://arxiv.org/abs/2403.12981v1
• Date: Sat, 2 Mar 2024 02:35:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:27:10.259788
• Title: Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision
• Title（参考訳）: Beyond Inference:コンピュータビジョンのためのDNNサーバオーバーヘッドのパフォーマンス解析
• Authors: Ahmed F. AbouElhamayed, Susanne Balle, Deshanand Singh, Mohamed S. Abdelfattah,
• Abstract要約: スループット最適化サービスシステムで実行されたコンピュータビジョンの推論要求を評価する。 データ移動、前処理、メッセージブローカなどのサーバオーバーヘッドのパフォーマンスへの影響を定量化する。 我々の研究は、異なるアプリケーションシナリオにおける重要なパフォーマンスボトルネックを特定し、2.25$times$優れたスループットを実現し、より包括的なディープラーニングシステム設計の道を開く。
• 参考スコア（独自算出の注目度）: 6.287928298762318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network (DNN) inference has become an important part of many data-center workloads. This has prompted focused efforts to design ever-faster deep learning accelerators such as GPUs and TPUs. However, an end-to-end DNN-based vision application contains more than just DNN inference, including input decompression, resizing, sampling, normalization, and data transfer. In this paper, we perform a thorough evaluation of computer vision inference requests performed on a throughput-optimized serving system. We quantify the performance impact of server overheads such as data movement, preprocessing, and message brokers between two DNNs producing outputs at different rates. Our empirical analysis encompasses many computer vision tasks including image classification, segmentation, detection, depth-estimation, and more complex processing pipelines with multiple DNNs. Our results consistently demonstrate that end-to-end application performance can easily be dominated by data processing and data movement functions (up to 56% of end-to-end latency in a medium-sized image, and $\sim$ 80% impact on system throughput in a large image), even though these functions have been conventionally overlooked in deep learning system design. Our work identifies important performance bottlenecks in different application scenarios, achieves 2.25$\times$ better throughput compared to prior work, and paves the way for more holistic deep learning system design.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)推論は、多くのデータセンタワークロードにおいて重要な部分となっている。 これにより、GPUやTPUといった、より高速なディープラーニングアクセラレータを設計するための集中的な取り組みが促進された。 しかし、エンドツーエンドのDNNベースの視覚アプリケーションは、入力圧縮、リサイズ、サンプリング、正規化、データ転送を含むDNN推論以上のものを含んでいる。 本稿ではスループット最適化サービスシステムにおいて,コンピュータビジョンの推論要求を徹底的に評価する。 異なるレートで出力を生成する2つのDNN間で、データ移動、前処理、メッセージブローカなどのサーバオーバーヘッドのパフォーマンスへの影響を定量化する。 我々の経験分析では、画像分類、セグメンテーション、検出、深さ推定、複数のDNNを用いたより複雑な処理パイプラインを含む多くのコンピュータビジョンタスクを網羅している。 我々の結果は,従来のディープラーニングシステム設計では見過ごされてはいないが,エンドツーエンドのアプリケーション性能はデータ処理とデータ移動関数(中規模画像におけるエンドツーエンドレイテンシの最大56%,大規模画像におけるシステムスループットへの影響は$\sim$80%)で容易に支配できることを示した。 我々の研究は、異なるアプリケーションシナリオにおける重要なパフォーマンスボトルネックを特定し、2.25$\times$優れたスループットを実現し、より包括的なディープラーニングシステム設計の道を開く。

関連論文リスト

• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN [8.613703056677457]
  アイトラッキング技術は多くの消費者向けエレクトロニクスアプリケーション、特に仮想現実および拡張現実(VR/AR)において不可欠である しかし、これらすべての面で最適なパフォーマンスを達成することは、非常に難しい課題である。 我々は,この課題に,システムとイベントカメラを併用したシナジスティックなソフトウェア/ハードウェアの共同設計を通じて対処する。 本システムでは,81%のp5精度,99.5%のp10精度,および3.71のMeanean Distanceを0.7msのレイテンシで実現し,1推論あたり2.29mJしか消費しない。
  論文  参考訳（メタデータ） (2024-04-22T15:28:42Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• A Tale of Two Cities: Data and Configuration Variances in Robust Deep Learning [27.498927971861068]
  ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。 これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
  論文  参考訳（メタデータ） (2022-11-18T03:32:53Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Scene Understanding for Autonomous Driving [0.0]
  Detectron2で提示されたRetinaNet, Faster R-CNN, Mask R-CNNの異なる構成の挙動を検討する。 関心のあるデータセット上でこれらのモデルを微調整した後、パフォーマンスの大幅な改善を観察します。 文脈外のデータセットを用いて異常な状況下で推論を行い、興味深い結果を示す。
  論文  参考訳（メタデータ） (2021-05-11T09:50:05Z)
• Jointly Optimizing Preprocessing and Inference for DNN-based Visual Analytics [24.62486707803304]
  本研究では,現代のアクセラレータ上での視覚分析システムにおけるエンドツーエンドDNNの実行について検討する。 プリプロセッシングのボトルネックに対処するために、エンド・ツー・エンドのビジュアル・アナリティクス・システムに2つの最適化を導入する。 この最適化により,近年のビジュアル分析よりも,エンドツーエンドのスループットを最大5.9倍の精度で向上できることを示す。
  論文  参考訳（メタデータ） (2020-07-25T20:26:05Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。