論文の概要: Neural Network Quantization for Efficient Inference: A Survey
- arxiv url: http://arxiv.org/abs/2112.06126v1
- Date: Wed, 8 Dec 2021 22:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-19 12:52:28.980532
- Title: Neural Network Quantization for Efficient Inference: A Survey
- Title(参考訳): 効率的な推論のためのニューラルネットワーク量子化:調査
- Authors: Olivia Weng
- Abstract要約: ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。
本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As neural networks have become more powerful, there has been a rising desire
to deploy them in the real world; however, the power and accuracy of neural
networks is largely due to their depth and complexity, making them difficult to
deploy, especially in resource-constrained devices. Neural network quantization
has recently arisen to meet this demand of reducing the size and complexity of
neural networks by reducing the precision of a network. With smaller and
simpler networks, it becomes possible to run neural networks within the
constraints of their target hardware. This paper surveys the many neural
network quantization techniques that have been developed in the last decade.
Based on this survey and comparison of neural network quantization techniques,
we propose future directions of research in the area.
- Abstract(参考訳): しかし、ニューラルネットワークのパワーと正確性は、その深さと複雑さが主な原因であり、特にリソースに制約のあるデバイスでは、デプロイが困難である。
ニューラルネットワークの量子化は、ネットワークの精度を下げることによって、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために最近登場した。
より小さくシンプルなネットワークでは、ターゲットハードウェアの制約内でニューラルネットワークを実行することが可能になる。
本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
この調査とニューラルネットワーク量子化技術の比較に基づいて,この領域における今後の研究の方向性を提案する。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。
本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-18T05:39:32Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳(メタデータ) (2022-10-31T16:13:15Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Stochastic resonance neurons in artificial neural networks [0.0]
アーキテクチャの固有部分として共鳴を用いた新しいタイプのニューラルネットワークを提案する。
このようなニューラルネットワークは、ノイズの影響に対してより堅牢であることを示す。
論文 参考訳(メタデータ) (2022-05-06T18:42:36Z) - Deep Binary Reinforcement Learning for Scalable Verification [44.44006029119672]
バイナライズニューラルネットワーク(BNN)に特化したRLアルゴリズムを提案する。
Atari環境でBNNを訓練した後、ロバスト性特性を検証する。
論文 参考訳(メタデータ) (2022-03-11T01:20:23Z) - Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。
Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文 参考訳(メタデータ) (2021-09-02T13:58:12Z) - Binary Neural Network for Speaker Verification [13.472791713805762]
本稿では,二元的ニューラルネットワークを話者検証の課題に適用する方法に焦点をあてる。
実験の結果、Convolutional Neural Networkをバイナライズした後、ResNet34ベースのネットワークは約5%のEERを達成した。
論文 参考訳(メタデータ) (2021-04-06T06:04:57Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳(メタデータ) (2020-03-31T16:47:20Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳(メタデータ) (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。