論文の概要: Jointly Optimizing Preprocessing and Inference for DNN-based Visual
Analytics
- arxiv url: http://arxiv.org/abs/2007.13005v1
- Date: Sat, 25 Jul 2020 20:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 01:28:42.965111
- Title: Jointly Optimizing Preprocessing and Inference for DNN-based Visual
Analytics
- Title（参考訳）: DNNに基づくビジュアル分析のための事前処理と推論の協調最適化
- Authors: Daniel Kang, Ankit Mathur, Teja Veeramacheneni, Peter Bailis, Matei
Zaharia
- Abstract要約: 本研究では,現代のアクセラレータ上での視覚分析システムにおけるエンドツーエンドDNNの実行について検討する。
プリプロセッシングのボトルネックに対処するために、エンド・ツー・エンドのビジュアル・アナリティクス・システムに2つの最適化を導入する。
この最適化により,近年のビジュアル分析よりも,エンドツーエンドのスループットを最大5.9倍の精度で向上できることを示す。
- 参考スコア（独自算出の注目度）: 24.62486707803304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep neural networks (DNNs) are an increasingly popular way to query
large corpora of data, their significant runtime remains an active area of
research. As a result, researchers have proposed systems and optimizations to
reduce these costs by allowing users to trade off accuracy and speed. In this
work, we examine end-to-end DNN execution in visual analytics systems on modern
accelerators. Through a novel measurement study, we show that the preprocessing
of data (e.g., decoding, resizing) can be the bottleneck in many visual
analytics systems on modern hardware.
To address the bottleneck of preprocessing, we introduce two optimizations
for end-to-end visual analytics systems. First, we introduce novel methods of
achieving accuracy and throughput trade-offs by using natively present,
low-resolution visual data. Second, we develop a runtime engine for efficient
visual DNN inference. This runtime engine a) efficiently pipelines
preprocessing and DNN execution for inference, b) places preprocessing
operations on the CPU or GPU in a hardware- and input-aware manner, and c)
efficiently manages memory and threading for high throughput execution. We
implement these optimizations in a novel system, Smol, and evaluate Smol on
eight visual datasets. We show that its optimizations can achieve up to 5.9x
end-to-end throughput improvements at a fixed accuracy over recent work in
visual analytics.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、大規模なコーパスを問合せするための人気が高まっているが、その重要なランタイムは依然として研究の活発な領域である。
その結果、ユーザーは精度と速度をトレードオフできるようになり、コスト削減のためのシステムと最適化が提案された。
本研究では,現代のアクセラレータ上での視覚分析システムにおけるエンドツーエンドDNNの実行について検討する。
新たな測定研究を通じて,データの前処理(デコード,リサイズなど)が,現代のハードウェア上の多くのビジュアル分析システムにおいてボトルネックとなることを示した。
プリプロセッシングのボトルネックに対処するために、エンド・ツー・エンドの視覚分析システムに2つの最適化を導入する。
まず,既存の低解像度の視覚データを用いて,精度とスループットのトレードオフを実現する新しい手法を提案する。
次に,効率的なビジュアルDNN推論のためのランタイムエンジンを開発する。
このランタイムエンジン
a) 推論のための効率的なパイプライン前処理およびdnn実行
b)cpu又はgpu上の前処理操作をハードウェア及び入力認識方式で配置すること。
c) 高スループット実行のためのメモリとスレッディングを効率的に管理する。
これらの最適化を新しいシステムであるSmolに実装し、8つのビジュアルデータセット上でSmolを評価する。
この最適化により,近年のビジュアル分析よりも,エンドツーエンドのスループットを最大5.9倍の精度で向上できることを示す。
関連論文リスト
- A Data-Driven Approach to Dataflow-Aware Online Scheduling for Graph Neural Network Inference [3.734578883171713]
GNN推論におけるデータフローを考慮した遅延予測のためのデータ駆動フレームワークを提案する。
我々の回帰器は、与えられたグラフに対して最大91.28%の精度で最適なデータフローを予測でき、平均絶対パーセンテージ誤差(MAPE)は3.78%である。
本稿では、これらの回帰器を用いてスケジューリング決定を強化するオンラインスケジューリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-25T12:38:59Z) - Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision [6.287928298762318]
スループット最適化サービスシステムで実行されたコンピュータビジョンの推論要求を評価する。
データ移動、前処理、メッセージブローカなどのサーバオーバーヘッドのパフォーマンスへの影響を定量化する。
我々の研究は、異なるアプリケーションシナリオにおける重要なパフォーマンスボトルネックを特定し、2.25$times$優れたスループットを実現し、より包括的なディープラーニングシステム設計の道を開く。
論文 参考訳（メタデータ） (2024-03-02T02:35:08Z) - Understand Data Preprocessing for Effective End-to-End Training of Deep
Neural Networks [8.977436072381973]
生データと記録ファイルのどちらを用いた2つの主要なデータ前処理手法の性能評価実験を行った。
我々は、潜在的な原因を特定し、様々な最適化方法を実行し、その長所と短所を提示する。
論文 参考訳（メタデータ） (2023-04-18T11:57:38Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。
チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文 参考訳（メタデータ） (2022-02-17T14:31:58Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
論文 参考訳（メタデータ） (2021-06-02T05:03:38Z) - Automated Design Space Exploration for optimised Deployment of DNN on
Arm Cortex-A CPUs [13.628734116014819]
組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。
テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。
我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
論文 参考訳（メタデータ） (2020-06-09T11:00:06Z) - Daydream: Accurately Estimating the Efficacy of Optimizations for DNN
Training [8.157520622932374]
プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか?
プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。
本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
論文 参考訳（メタデータ） (2020-06-05T09:08:16Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。