論文の概要: Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection
- arxiv url: http://arxiv.org/abs/1912.12656v1
- Date: Sun, 29 Dec 2019 14:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:56:30.593642
- Title: Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection
- Title（参考訳）: 画像分類と物体検出のためのビット幅の漸減を伴う混合精度量子化ニューラルネットワーク
- Authors: Tianshu Chu, Qin Luo, Jie Yang, Xiaolin Huang
- Abstract要約: ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
- 参考スコア（独自算出の注目度）: 21.48875255723581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient model inference is an important and practical issue in the
deployment of deep neural network on resource constraint platforms. Network
quantization addresses this problem effectively by leveraging low-bit
representation and arithmetic that could be conducted on dedicated embedded
systems. In the previous works, the parameter bitwidth is set homogeneously and
there is a trade-off between superior performance and aggressive compression.
Actually the stacked network layers, which are generally regarded as
hierarchical feature extractors, contribute diversely to the overall
performance. For a well-trained neural network, the feature distributions of
different categories differentiate gradually as the network propagates forward.
Hence the capability requirement on the subsequent feature extractors is
reduced. It indicates that the neurons in posterior layers could be assigned
with lower bitwidth for quantized neural networks. Based on this observation, a
simple but effective mixed-precision quantized neural network with
progressively ecreasing bitwidth is proposed to improve the trade-off between
accuracy and compression. Extensive experiments on typical network
architectures and benchmark datasets demonstrate that the proposed method could
achieve better or comparable results while reducing the memory space for
quantized parameters by more than 30\% in comparison with the homogeneous
counterparts. In addition, the results also demonstrate that the
higher-precision bottom layers could boost the 1-bit network performance
appreciably due to a better preservation of the original image information
while the lower-precision posterior layers contribute to the regularization of
$k-$bit networks.
- Abstract（参考訳）: 効率的なモデル推論は、リソース制約プラットフォームにディープニューラルネットワークを配置する上で、重要かつ実用的な問題である。
ネットワーク量子化は、専用組み込みシステム上で実行できる低ビット表現と演算を活用することで、この問題を効果的に解決する。
前作では、パラメータビット幅を均等に設定し、優れた性能と攻撃的圧縮のトレードオフが存在する。
実際、階層的特徴抽出器と見なされるネットワーク層は、全体的なパフォーマンスに多様である。
十分に訓練されたニューラルネットワークでは、異なるカテゴリの特徴分布は、ネットワークが前進するにつれて徐々に分化する。
したがって、後続の機能抽出器の能力要件が軽減される。
これは、後層のニューロンが量子化されたニューラルネットワークの下位ビット幅に割り当てられることを示している。
この観察に基づいて,ビット幅を漸進的に緩和する簡易かつ効果的な混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善した。
典型的なネットワークアーキテクチャとベンチマークデータセットに関する広範囲な実験により、提案手法は、均質なパラメータに比べて、量子化パラメータのメモリ空間を30%以上削減しながら、より良い、あるいは同等の結果を得られることが証明された。
さらに,より高精度のボトム層が元の画像情報の保存性の向上により1ビットネットワーク性能を向上し,低精度の後層が$k-$bitネットワークの正規化に寄与することを示した。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Towards Efficient Verification of Quantized Neural Networks [9.352320240912109]
量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。
本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
論文 参考訳（メタデータ） (2023-12-20T00:43:13Z) - Compression with Bayesian Implicit Neural Representations [16.593537431810237]
本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。
実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-05-30T16:29:52Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。
提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
論文 参考訳（メタデータ） (2020-05-10T03:20:01Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。