論文の概要: DenseShift: Towards Accurate and Transferable Low-Bit Shift Network
- arxiv url: http://arxiv.org/abs/2208.09708v1
- Date: Sat, 20 Aug 2022 15:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:11:36.426657
- Title: DenseShift: Towards Accurate and Transferable Low-Bit Shift Network
- Title（参考訳）: DenseShift: 正確かつ転送可能な低ビットシフトネットワークを目指して
- Authors: Xinlin Li, Bang Liu, Rui Heng Yang, Vanessa Courville, Chao Xing,
Vahid Partovi Nia
- Abstract要約: シフトニューラルネットワークは、計算とメモリ消費を減らすための最も効果的なツールの1つである。
DenseShiftネットワークは、既存の低ビット乗算のないネットワークよりも大幅に優れている。
また、精度を低下させることなく、強力な転送学習性能を示す。
- 参考スコア（独自算出の注目度）: 10.119903887708594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying deep neural networks on low-resource edge devices is challenging
due to their ever-increasing resource requirements. Recent investigations
propose multiplication-free neural networks to reduce computation and memory
consumption. Shift neural network is one of the most effective tools towards
these reductions. However, existing low-bit shift networks are not as accurate
as their full precision counterparts and cannot efficiently transfer to a wide
range of tasks due to their inherent design flaws. We propose DenseShift
network that exploits the following novel designs. First, we demonstrate that
the zero-weight values in low-bit shift networks are neither useful to the
model capacity nor simplify the model inference. Therefore, we propose to use a
zero-free shifting mechanism to simplify inference while increasing the model
capacity. Second, we design a new metric to measure the weight freezing issue
in training low-bit shift networks, and propose a sign-scale decomposition to
improve the training efficiency. Third, we propose the low-variance random
initialization strategy to improve the model's performance in transfer learning
scenarios. We run extensive experiments on various computer vision and speech
tasks. The experimental results show that DenseShift network significantly
outperforms existing low-bit multiplication-free networks and can achieve
competitive performance to the full-precision counterpart. It also exhibits
strong transfer learning performance with no drop in accuracy.
- Abstract（参考訳）: 低リソースのエッジデバイスにディープニューラルネットワークをデプロイするのは、リソース要件の増大が原因で難しい。
近年の研究では、計算とメモリ消費を減らすために、乗算自由ニューラルネットワークを提案する。
シフトニューラルネットワークは、これらの削減に対する最も効果的なツールの1つである。
しかし、既存の低ビットシフトネットワークは完全精度のネットワークほど正確ではなく、設計上の欠陥のため、広範囲のタスクに効率的に移行することはできない。
本稿では,以下の新デザインを活用するDenseShiftネットワークを提案する。
まず,低ビットシフトネットワークにおけるゼロウェイト値が,モデルキャパシティやモデル推論に有用でないことを示す。
そこで本研究では,モデル容量を増加させながら推論を単純化するゼロフリーシフト機構を提案する。
第2に、低ビットシフトネットワークのトレーニングにおける重量凍結問題を測定するための新しい指標を設計し、トレーニング効率を向上させるための符号スケール分解を提案する。
第3に, 伝達学習シナリオにおけるモデルの性能を向上させるために, 低分散ランダム初期化戦略を提案する。
様々なコンピュータビジョンと音声タスクについて広範な実験を行う。
実験の結果,DenseShiftネットワークは既存の低ビット乗算自由ネットワークを著しく上回り,完全精度のネットワークと競合する性能が得られることがわかった。
また、精度が低下することなく、強力な転送学習性能を示す。
関連論文リスト
- Learning Discrete Weights and Activations Using the Local
Reparameterization Trick [21.563618480463067]
コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。
ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。
これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
論文 参考訳（メタデータ） (2023-07-04T12:27:10Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Self-Compression in Bayesian Neural Networks [0.9176056742068814]
ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。
ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。
実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
論文 参考訳（メタデータ） (2021-11-10T21:19:40Z) - $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of
Low-bit Shift Networks [41.54155265996312]
シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。
提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-07T19:33:02Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳（メタデータ） (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。