Fugu-MT 論文翻訳(概要): The Ramifications of Making Deep Neural Networks Compact

論文の概要: The Ramifications of Making Deep Neural Networks Compact

arxiv url: http://arxiv.org/abs/2006.15098v1
Date: Fri, 26 Jun 2020 17:03:53 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 21:14:31.949074
Title: The Ramifications of Making Deep Neural Networks Compact
Title（参考訳）: ディープニューラルネットワークのコンパクト化の分岐
Authors: Nandan Kumar Jha, Sparsh Mittal, Govardhan Mattela
Abstract要約: ディープニューラルネットワーク(DNN)をコンパクトにすることは、よく理解されていない間接的かつ微妙な意味を持つことを示す。我々は、Tesla P100 GPU上で最近提案されたコンパクトDNNを評価し、その"パラメータ比へのアクティベーション"は1.4から32.8の範囲であることを示す。これは、より多くのアクティベーションが大きなメモリフットプリントを引き起こし、オンチップ/オフチップのデータ移動が増加することを示している。
参考スコア（独自算出の注目度）: 2.7719338074999538
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent trend in deep neural networks (DNNs) research is to make the networks more compact. The motivation behind designing compact DNNs is to improve energy efficiency since by virtue of having lower memory footprint, compact DNNs have lower number of off-chip accesses which improves energy efficiency. However, we show that making DNNs compact has indirect and subtle implications which are not well-understood. Reducing the number of parameters in DNNs increases the number of activations which, in turn, increases the memory footprint. We evaluate several recently-proposed compact DNNs on Tesla P100 GPU and show that their "activations to parameters ratio" ranges between 1.4 to 32.8. Further, the "memory-footprint to model size ratio" ranges between 15 to 443. This shows that a higher number of activations causes large memory footprint which increases on-chip/off-chip data movements. Furthermore, these parameter-reducing techniques reduce the arithmetic intensity which increases on-chip/off-chip memory bandwidth requirement. Due to these factors, the energy efficiency of compact DNNs may be significantly reduced which is against the original motivation for designing compact DNNs.
Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)研究のトレンドは、ネットワークをよりコンパクトにすることだ。コンパクトDNNの設計の背景にある動機は、メモリフットプリントが低いため、エネルギー効率を向上させるオフチップアクセスが少ないため、エネルギー効率を改善することである。しかし、DNNをコンパクトにすることは、よく理解されていない間接的かつ微妙な意味を持つことを示す。 DNNにおけるパラメータの数を減らすことでアクティベーション数が増加し、メモリフットプリントが増加する。我々は、Tesla P100 GPU上で最近提案されたコンパクトDNNを評価し、その"パラメータ比へのアクティベーション"は1.4から32.8の範囲であることを示す。さらに、「メモリ・フットプリント・モデルサイズ比」は15 - 443の範囲である。これは、より多くのアクティベーションが大きなメモリフットプリントを引き起こし、オンチップ/オフチップのデータ移動が増加することを示している。さらに、これらのパラメータ還元技術は、オンチップ/オフチップメモリ帯域幅を増大させる演算強度を低減する。これらの要因により、コンパクトDNNのエネルギー効率は大幅に低下し、コンパクトDNNを設計する当初の動機に反する可能性がある。

関連論文リスト

Sparsifying Binary Networks [3.8350038566047426]
バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
論文参考訳（メタデータ） (2022-07-11T15:54:41Z)
DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文参考訳（メタデータ） (2022-06-02T02:32:47Z)
Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文参考訳（メタデータ） (2022-03-03T01:46:05Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Positive/Negative Approximate Multipliers for DNN Accelerators [3.1921317895626493]
本稿では,重みを近似乗算器の適切なモードにマッピングするフィルタ指向近似法を提案する。提案手法では,4つの異なるデータセット上で平均7つのNNで18.33%のエネルギーゲインを達成し,最大精度の低下は1%に留まった。
論文参考訳（メタデータ） (2021-07-20T09:36:24Z)
DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications [2.1800759000607024]
本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
論文参考訳（メタデータ） (2021-05-25T11:44:12Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文参考訳（メタデータ） (2021-04-16T19:11:14Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)
Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文参考訳（メタデータ） (2020-06-24T18:23:10Z)
SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文参考訳（メタデータ） (2020-05-07T12:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。