Fugu-MT 論文翻訳(概要): Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks

論文の概要: Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks

arxiv url: http://arxiv.org/abs/2112.13896v1
Date: Mon, 27 Dec 2021 20:41:01 GMT
ステータス: 処理完了
システム内更新日: 2021-12-31 07:43:59.183972
Title: Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks
Title（参考訳）: スパース・スパース・ネットワークのパフォーマンスの利点を解き放つ2つのスパリティ
Authors: Kevin Lee Hunter, Lawrence Spracklen and Subutai Ahmad
Abstract要約: 本稿では,既存のハードウェア上での二重スパースネットワークの性能を大幅に向上させる手法であるComplementary Sparsityを紹介する。 FPGAのスループットとエネルギー効率を最大100倍向上させる。我々の結果は、重量とアクティベーションの間隔が将来のAIモデルを効率的にスケーリングするための強力な組み合わせになり得ることを示唆している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In principle, sparse neural networks should be significantly more efficient than traditional dense networks. Neurons in the brain exhibit two types of sparsity; they are sparsely interconnected and sparsely active. These two types of sparsity, called weight sparsity and activation sparsity, when combined, offer the potential to reduce the computational cost of neural networks by two orders of magnitude. Despite this potential, today's neural networks deliver only modest performance benefits using just weight sparsity, because traditional computing hardware cannot efficiently process sparse networks. In this article we introduce Complementary Sparsity, a novel technique that significantly improves the performance of dual sparse networks on existing hardware. We demonstrate that we can achieve high performance running weight-sparse networks, and we can multiply those speedups by incorporating activation sparsity. Using Complementary Sparsity, we show up to 100X improvement in throughput and energy efficiency performing inference on FPGAs. We analyze scalability and resource tradeoffs for a variety of kernels typical of commercial convolutional networks such as ResNet-50 and MobileNetV2. Our results with Complementary Sparsity suggest that weight plus activation sparsity can be a potent combination for efficiently scaling future AI models.
Abstract（参考訳）: 原則として、スパースニューラルネットワークは従来の高密度ネットワークよりもはるかに効率的であるべきです。脳内のニューロンは2種類あり、緩やかに相互に結合し、わずかに活動する。これら2種類の疎度は、重み間隔とアクティベーション間隔と呼ばれ、組み合わせることで、ニューラルネットワークの計算コストを2桁に削減する可能性がある。この可能性にもかかわらず、今日のニューラルネットワークは、重みのスパースのみを使用して、ささやかなパフォーマンスの利点しか提供しない。本稿では,既存のハードウェア上での二重スパースネットワークの性能を大幅に向上させる新しい手法であるComplementary Sparsityを紹介する。我々は,高パフォーマンスな重み分散ネットワークを実現できることを実証し,アクティベーションスパーシティを組み込むことで,高速化を実現する。また,Complementary Sparsityを用いてFPGAのスループットとエネルギー効率を最大100倍向上させる。 ResNet-50やMobileNetV2のような商用畳み込みネットワークに典型的なカーネルのスケーラビリティとリソースのトレードオフを分析する。その結果, 重みと活性化のスパース性は, 将来のaiモデルを効率的にスケーリングするための強力な組み合わせであることが示唆された。

関連論文リスト

Signed Binary Weight Networks [17.07866119979333]
2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
論文参考訳（メタデータ） (2022-11-25T00:19:21Z)
Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文参考訳（メタデータ） (2022-09-30T06:33:40Z)
ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks [42.28659737268829]
ShiftAddNASは、より正確で効率的なNNを自動的に検索できる。 ShiftAddNASは、乗算ベースと乗算自由演算子の両方を組み込んだ最初のハイブリッド検索空間を統合する。 ShiftAddNASの有効性は実験とアブレーション研究で一貫して検証されている。
論文参考訳（メタデータ） (2022-05-17T06:40:13Z)
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning [4.286327408435937]
シリコンフォトニクスを用いたスパースニューラルネットワーク推論アクセラレータSONICを提案する。 SONICは、最先端のスパース電子ニューラルネットワークアクセラレータよりも、ワット当たり5.8倍、ビット当たり8.4倍のエネルギーを達成できる。
論文参考訳（メタデータ） (2021-09-09T17:57:09Z)
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration [21.110711058376534]
スパシティの爆発は、モバイルデバイス上での量子畳み込みニューラルネットワーク(CNN)推論を加速させる重要なテクニックである。本稿では,重みとアクティベーションの両面において,構造的疎度,具体的には密度境界ブロック(DBB)の疎度を利用することを提案する。 S2TAは,関節重量とDBB空間の活性化を利用するサイストリックアレイベースのCNNアクセラレータである。
論文参考訳（メタデータ） (2021-07-16T15:57:06Z)
FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文参考訳（メタデータ） (2021-06-28T10:48:20Z)
CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文参考訳（メタデータ） (2021-04-09T14:12:43Z)
Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文参考訳（メタデータ） (2021-03-24T15:25:20Z)
Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文参考訳（メタデータ） (2021-02-08T05:55:47Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。