論文の概要: ResPerfNet: Deep Residual Learning for Regressional Performance Modeling
of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2012.01671v1
- Date: Thu, 3 Dec 2020 03:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 14:43:01.301762
- Title: ResPerfNet: Deep Residual Learning for Regressional Performance Modeling
of Deep Neural Networks
- Title（参考訳）: ResPerfNet:ディープニューラルネットワークの回帰性能モデリングのための深層残留学習
- Authors: Chuan-Chi Wang, Ying-Chiao Liao, Chia-Heng Tu, Ming-Chang Kao, Wen-Yew
Liang, Shih-Hao Hung
- Abstract要約: 本稿では,ディープラーニングに基づくResPerfNetを提案する。この手法は,ニューラルネットワークの性能を予測するために,対象プラットフォーム上で得られた代表データセットを用いて残差ニューラルネットワークをトレーニングする。
実験の結果,ResPerfNetは個々のニューラルネットワーク層と,さまざまなプラットフォーム上でのフルネットワークモデルの実行時間を正確に予測できることがわかった。
- 参考スコア（独自算出の注目度）: 0.16311150636417257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancements of computing technology facilitate the development of
diverse deep learning applications. Unfortunately, the efficiency of parallel
computing infrastructures varies widely with neural network models, which
hinders the exploration of the design space to find high-performance neural
network architectures on specific computing platforms for a given application.
To address such a challenge, we propose a deep learning-based method,
ResPerfNet, which trains a residual neural network with representative datasets
obtained on the target platform to predict the performance for a deep neural
network. Our experimental results show that ResPerfNet can accurately predict
the execution time of individual neural network layers and full network models
on a variety of platforms. In particular, ResPerfNet achieves 8.4% of mean
absolute percentage error for LeNet, AlexNet and VGG16 on the NVIDIA GTX
1080Ti, which is substantially lower than the previously published works.
- Abstract（参考訳）: コンピューティング技術の急速な進歩は、多様なディープラーニングアプリケーションの開発を促進する。
残念ながら、並列コンピューティングインフラストラクチャの効率は、ニューラルネットワークモデルによって大きく異なり、特定のアプリケーションのための特定のコンピューティングプラットフォーム上で高性能なニューラルネットワークアーキテクチャを見つけるための設計スペースの探索を妨げる。
そこで本研究では,ニューラルネットワークの性能を予測するために,目的とするプラットフォーム上で得られた代表データセットを用いて,残留ニューラルネットワークを訓練する深層学習に基づく手法であるresperfnetを提案する。
実験の結果、resperfnetは様々なプラットフォーム上で個々のニューラルネットワーク層とフルネットワークモデルの実行時間を正確に予測できることがわかった。
特にResPerfNetは、NVIDIA GTX 1080Ti上で、LeNet、AlexNet、VGG16の平均絶対パーセンテージエラーの8.4%を達成した。
関連論文リスト
- Designing deep neural networks for driver intention recognition [40.87622566719826]
本稿では,ニューラルネットワークアーキテクチャが現実世界の安全クリティカルなアプリケーションに与える影響について検討する。
2つの運転意図認識データセットに対して8つの探索戦略のセットを評価する。
論文 参考訳（メタデータ） (2024-02-07T12:54:15Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Efficient Neural Architecture Search with Performance Prediction [0.0]
ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。
既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。
サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
論文 参考訳（メタデータ） (2021-08-04T05:44:16Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Toward Accurate Platform-Aware Performance Modeling for Deep Neural
Networks [0.17499351967216337]
機械学習に基づくPerfNetV2は、さまざまなGPUアクセラレータ上でのニューラルネットワークのパフォーマンスをモデル化するための、これまでの作業の精度を向上させる。
アプリケーションを利用すると、アプリケーションで使用される畳み込みニューラルネットワークの推論時間とトレーニング時間を予測することができる。
我々のケーススタディでは、PerfNetV2が13.1%のLeNet、AlexNet、VGG16、NVIDIA GTX-1080Tiで平均絶対パーセンテージエラーを発生し、ICBD 2018で発表された以前の研究のエラー率は200%に達する可能性がある。
論文 参考訳（メタデータ） (2020-12-01T01:42:23Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。