Fugu-MT 論文翻訳(概要): Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs

論文の概要: Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs

arxiv url: http://arxiv.org/abs/2202.04990v1
Date: Thu, 10 Feb 2022 12:39:21 GMT
ステータス: 処理完了
システム内更新日: 2022-02-12 00:04:39.933298
Title: Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs
Title（参考訳）: Mixture-of-Rookies:ReLU出力予測によるDNN計算の削減
Authors: Dennis Pinto, Jose-Mar\'ia Arnau, Antonio Gonz\'alez
Abstract要約: 本稿では, 各ReLu活性化ニューロンの出力が0か正かを予測する手法を提案する。私たちの予測器はMixture-of-Rookiesと呼ばれ、2つの安価なコンポーネントを組み合わせています。我々は最先端のDNNアクセラレータ上にハイブリッドゼロ出力予測器を実装した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep Neural Networks (DNNs) are widely used in many applications domains. However, they require a vast amount of computations and memory accesses to deliver outstanding accuracy. In this paper, we propose a scheme to predict whether the output of each ReLu activated neuron will be a zero or a positive number in order to skip the computation of those neurons that will likely output a zero. Our predictor, named Mixture-of-Rookies, combines two inexpensive components. The first one exploits the high linear correlation between binarized (1-bit) and full-precision (8-bit) dot products, whereas the second component clusters together neurons that tend to output zero at the same time. We propose a novel clustering scheme based on the analysis of angles, as the sign of the dot product of two vectors depends on the cosine of the angle between them. We implement our hybrid zero output predictor on top of a state-of-the-art DNN accelerator. Experimental results show that our scheme introduces a small area overhead of 5.3% while achieving a speedup of 1.2x and reducing energy consumption by 16.5% on average for a set of diverse DNNs.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くのアプリケーションドメインで広く使われている。しかし、優れた精度を実現するには大量の計算とメモリアクセスが必要である。本稿では,各ReLu活性化ニューロンの出力が0か正の値になるかどうかを予測し,0を出力するニューロンの計算を省略する手法を提案する。私たちの予測器はMixture-of-Rookiesと呼ばれ、2つの安価なコンポーネントを組み合わせています。第1の成分は双対化(1ビット)と全精度(8ビット)のドット積の間の高い線形相関を利用しており、第2の成分は同時にゼロを出力する傾向にあるニューロンをクラスタリングする。 2つのベクトルの点積の符号はそれらの間の角度のコサインに依存するため、角度の解析に基づく新しいクラスタリングスキームを提案する。我々は最先端のDNNアクセラレータ上にハイブリッドゼロ出力予測器を実装した。実験結果から,本方式では, 1.2倍の高速化を実現し, 様々なDNNに対して平均16.5%の省エネルギー化を実現しつつ, 面積オーバーヘッドが5.3%に抑えられた。

関連論文リスト

INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
論文参考訳（メタデータ） (2023-06-10T08:39:16Z)
SEENN: Towards Temporal Spiking Early-Exit Neural Networks [26.405775809170308]
スパイキングニューラルネットワーク(SNN)は、最近、従来のニューラルネットワーク(ANN)の生物学的にもっともらしい代替品として人気が高まっている。本研究では,SNNにおける時間経過の微調整について検討する。時間ステップ数を動的に調整することにより、SEENNは推論中の平均時間ステップ数を著しく削減する。
論文参考訳（メタデータ） (2023-04-02T15:57:09Z)
Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文参考訳（メタデータ） (2023-03-25T13:53:02Z)
Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。本研究では,残膜電位に基づく最適化手法を提案する。
論文参考訳（メタデータ） (2023-02-04T04:44:31Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。我々は,各ニューロンの出力を動的にキャッシュし,現在の出力が以前計算された結果に類似すると予測されたときに再利用する,ニューロンレベルのファジィメモ化スキームを構築した。提案手法は26.7%以上の計算を回避し、21%の省エネと1.4倍の高速化を実現している。
論文参考訳（メタデータ） (2022-02-14T09:02:03Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文参考訳（メタデータ） (2021-08-31T05:18:59Z)
pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs [12.429095025814345]
重みよりも分布を学習する代わりに、推定時に点推定と摂動重みを用いる擬似BNNを提案する。全体として、この組み合わせは、推論時にOODサンプルを検出するという原則的な手法をもたらす。
論文参考訳（メタデータ） (2021-02-02T06:23:04Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。