論文の概要: DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2205.12095v1
- Date: Tue, 24 May 2022 14:21:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:53:42.978384
- Title: DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural
Networks
- Title（参考訳）: DNNAbacus:ディープニューラルネットワークの正確な計算コスト予測を目指して
- Authors: Lu Bai, Weixing Ji, Qinyuan Li, Xilai Yao, Wei Xin, Wanyi Zhu
- Abstract要約: 本稿では,29の古典的ディープニューラルネットワークの計算資源要求を調査し,計算コストを予測するための正確なモデルを構築した。
ネットワーク表現のための新しいネットワーク構造行列を用いた軽量な予測手法DNNAbacusを提案する。
実験の結果, 平均相対誤差 (MRE) は時間に対して0.9%, メモリに関しては2.8%であった。
- 参考スコア（独自算出の注目度）: 0.9896984829010892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning is attracting interest across a variety of domains, including
natural language processing, speech recognition, and computer vision. However,
model training is time-consuming and requires huge computational resources.
Existing works on the performance prediction of deep neural networks, which
mostly focus on the training time prediction of a few models, rely on
analytical models and result in high relative errors. %Optimizing task
scheduling and reducing job failures in data centers are essential to improve
resource utilization and reduce carbon emissions. This paper investigates the
computational resource demands of 29 classical deep neural networks and builds
accurate models for predicting computational costs. We first analyze the
profiling results of typical networks and demonstrate that the computational
resource demands of models with different inputs and hyperparameters are not
obvious and intuitive. We then propose a lightweight prediction approach
DNNAbacus with a novel network structural matrix for network representation.
DNNAbacus can accurately predict both memory and time cost for PyTorch and
TensorFlow models, which is also generalized to different hardware
architectures and can have zero-shot capability for unseen networks. Our
experimental results show that the mean relative error (MRE) is 0.9% with
respect to time and 2.8% with respect to memory for 29 classic models, which is
much lower than the state-of-the-art works.
- Abstract（参考訳）: ディープラーニングは、自然言語処理、音声認識、コンピュータビジョンなど、さまざまな領域で関心を集めている。
しかし、モデルトレーニングは時間がかかり、膨大な計算資源を必要とする。
既存の研究は、いくつかのモデルのトレーニング時間予測に主に焦点を合わせ、分析モデルに依存し、高い相対誤差をもたらすディープニューラルネットワークのパフォーマンス予測に取り組んでいる。
%の最適化とデータセンターのジョブ障害の削減は、資源利用の改善と二酸化炭素排出量削減に不可欠である。
本稿では,29の古典的ディープニューラルネットワークの計算資源要求を調査し,計算コストを予測するための正確なモデルを構築した。
まず、典型的なネットワークのプロファイリング結果を分析し、異なる入力とハイパーパラメータを持つモデルの計算資源要求が明確で直感的でないことを示す。
次に,ネットワーク表現のための新しいネットワーク構造行列を用いたdnnabacusの軽量予測手法を提案する。
DNNAbacusはPyTorchとTensorFlowモデルのメモリと時間の両方のコストを正確に予測できる。
実験の結果、平均相対誤差 (mre) は時間に対して0.9%、古典モデル29モデルに対して2.8%であり、これは最先端作品よりもはるかに低い。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Residual Multi-Fidelity Neural Network Computing [0.0]
残差関数としてモデル間の相関を定式化する残差多忠実計算フレームワークを提案する。
計算コストの劇的な削減は、出力予測が小さな許容範囲内で正確であることを望んでいれば達成できることを示す。
論文 参考訳（メタデータ） (2023-10-05T14:43:16Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Parameter Prediction for Unseen Deep Architectures [23.79630072083828]
我々は、他のネットワークを訓練する過去の知識を利用して、ディープラーニングを使ってパラメータを直接予測できるかどうか検討する。
本稿では,CPU上でも1秒の間隔で1回のフォワードパスで性能パラメータを予測できるハイパーネットワークを提案する。
提案したモデルは、目に見えない多様なネットワーク上で驚くほど優れた性能を達成する。
論文 参考訳（メタデータ） (2021-10-25T16:52:33Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文 参考訳（メタデータ） (2020-09-01T16:20:11Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳（メタデータ） (2020-02-25T10:56:47Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。