論文の概要: The Sparsity Roofline: Understanding the Hardware Limits of Sparse
Neural Networks
- arxiv url: http://arxiv.org/abs/2310.00496v2
- Date: Mon, 6 Nov 2023 19:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 19:07:38.348627
- Title: The Sparsity Roofline: Understanding the Hardware Limits of Sparse
Neural Networks
- Title(参考訳): sparsityのルーフライン:スパースニューラルネットワークのハードウェア限界を理解する
- Authors: Cameron Shinn, Collin McCarthy, Saurav Muralidharan, Muhammad Osama,
John D. Owens
- Abstract要約: 本稿では,ニューラルネットワークの空間性を評価する視覚的パフォーマンスモデルであるSparsity Rooflineを紹介する。
機械学習の研究者たちは、実装されていない、あるいは最適化されていないブロック構造化されたスパーシティパターンのパフォーマンスを予測できることを示す。
ハードウェアデザイナが、ハードウェアにおける新しいスパースパターンとスパースデータフォーマットのパフォーマンスに与える影響を、どのように予測できるかを示す。
- 参考スコア(独自算出の注目度): 4.130528857196844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Sparsity Roofline, a visual performance model for evaluating
sparsity in neural networks. The Sparsity Roofline jointly models network
accuracy, sparsity, and theoretical inference speedup. Our approach does not
require implementing and benchmarking optimized kernels, and the theoretical
speedup becomes equal to the actual speedup when the corresponding dense and
sparse kernels are well-optimized. We achieve this through a novel analytical
model for predicting sparse network performance, and validate the predicted
speedup using several real-world computer vision architectures pruned across a
range of sparsity patterns and degrees. We demonstrate the utility and
ease-of-use of our model through two case studies: (1) we show how machine
learning researchers can predict the performance of unimplemented or
unoptimized block-structured sparsity patterns, and (2) we show how hardware
designers can predict the performance implications of new sparsity patterns and
sparse data formats in hardware. In both scenarios, the Sparsity Roofline helps
performance experts identify sparsity regimes with the highest performance
potential.
- Abstract(参考訳): 本稿では,ニューラルネットワークの空間性を評価する視覚的パフォーマンスモデルであるSparsity Rooflineを紹介する。
Sparsity Rooflineは、ネットワークの正確性、疎性、理論推論の高速化を共同でモデル化する。
提案手法では最適化されたカーネルの実装やベンチマークは必要とせず,高密度でスパースなカーネルが適切に最適化された場合,理論的な高速化は実際のスピードアップに等しい。
本手法は,スパースネットワーク性能を推定する新たな解析モデルを用いて実現し,複数の実世界のコンピュータビジョンアーキテクチャを用いた予測高速化の検証を行う。
我々は,1) 機械学習研究者が,実装されていない,あるいは最適化されていないブロック構造化された疎結合パターンの性能をいかに予測できるか,(2) ハードウェアデザイナがハードウェアにおける新しい疎結合パターンや疎結合データフォーマットのパフォーマンスに与える影響を予測できるかを示す。
どちらのシナリオにおいても、sparsityのルーフラインはパフォーマンスの専門家がsparsityのレジームを最も高いパフォーマンスの可能性で識別するのに役立つ。
関連論文リスト
- Multi-conditioned Graph Diffusion for Neural Architecture Search [8.894253962956366]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳(メタデータ) (2024-03-09T21:45:31Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Using Graph Neural Networks to model the performance of Deep Neural
Networks [2.1151356984322307]
グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。
実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
論文 参考訳(メタデータ) (2021-08-27T20:20:17Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Generalized Latency Performance Estimation for Once-For-All Neural
Architecture Search [0.0]
特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。
ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
論文 参考訳(メタデータ) (2021-01-04T00:48:09Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳(メタデータ) (2020-06-18T07:05:48Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。