論文の概要: The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2310.00496v2
• Date: Mon, 6 Nov 2023 19:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 19:07:38.348627
• Title: The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks
• Title（参考訳）: sparsityのルーフライン:スパースニューラルネットワークのハードウェア限界を理解する
• Authors: Cameron Shinn, Collin McCarthy, Saurav Muralidharan, Muhammad Osama, John D. Owens
• Abstract要約: 本稿では,ニューラルネットワークの空間性を評価する視覚的パフォーマンスモデルであるSparsity Rooflineを紹介する。 機械学習の研究者たちは、実装されていない、あるいは最適化されていないブロック構造化されたスパーシティパターンのパフォーマンスを予測できることを示す。 ハードウェアデザイナが、ハードウェアにおける新しいスパースパターンとスパースデータフォーマットのパフォーマンスに与える影響を、どのように予測できるかを示す。
• 参考スコア（独自算出の注目度）: 4.130528857196844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Sparsity Roofline, a visual performance model for evaluating sparsity in neural networks. The Sparsity Roofline jointly models network accuracy, sparsity, and theoretical inference speedup. Our approach does not require implementing and benchmarking optimized kernels, and the theoretical speedup becomes equal to the actual speedup when the corresponding dense and sparse kernels are well-optimized. We achieve this through a novel analytical model for predicting sparse network performance, and validate the predicted speedup using several real-world computer vision architectures pruned across a range of sparsity patterns and degrees. We demonstrate the utility and ease-of-use of our model through two case studies: (1) we show how machine learning researchers can predict the performance of unimplemented or unoptimized block-structured sparsity patterns, and (2) we show how hardware designers can predict the performance implications of new sparsity patterns and sparse data formats in hardware. In both scenarios, the Sparsity Roofline helps performance experts identify sparsity regimes with the highest performance potential.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの空間性を評価する視覚的パフォーマンスモデルであるSparsity Rooflineを紹介する。 Sparsity Rooflineは、ネットワークの正確性、疎性、理論推論の高速化を共同でモデル化する。 提案手法では最適化されたカーネルの実装やベンチマークは必要とせず,高密度でスパースなカーネルが適切に最適化された場合,理論的な高速化は実際のスピードアップに等しい。 本手法は,スパースネットワーク性能を推定する新たな解析モデルを用いて実現し,複数の実世界のコンピュータビジョンアーキテクチャを用いた予測高速化の検証を行う。 我々は,1) 機械学習研究者が,実装されていない,あるいは最適化されていないブロック構造化された疎結合パターンの性能をいかに予測できるか,(2) ハードウェアデザイナがハードウェアにおける新しい疎結合パターンや疎結合データフォーマットのパフォーマンスに与える影響を予測できるかを示す。 どちらのシナリオにおいても、sparsityのルーフラインはパフォーマンスの専門家がsparsityのレジームを最も高いパフォーマンスの可能性で識別するのに役立つ。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
  本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。 6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
  論文  参考訳（メタデータ） (2024-03-09T21:45:31Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Generalized Latency Performance Estimation for Once-For-All Neural Architecture Search [0.0]
  特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。 ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
  論文  参考訳（メタデータ） (2021-01-04T00:48:09Z)
• Neural Architecture Optimization with Graph VAE [21.126140965779534]
  連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。 フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
  論文  参考訳（メタデータ） (2020-06-18T07:05:48Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。