Fugu-MT 論文翻訳(概要): BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance

論文の概要: BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance

arxiv url: http://arxiv.org/abs/2211.06987v1
Date: Sun, 13 Nov 2022 18:31:45 GMT
ステータス: 処理完了
システム内更新日: 2022-11-15 17:30:59.065203
Title: BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance
Title（参考訳）: BiFSMNv2: キーワードスポッティングのためのバイナリニューラルネットワークを実ネットワーク性能にプッシュする
Authors: Haotong Qin, Xudong Ma, Yifu Ding, Xiaoyang Li, Yang Zhang, Zejun Ma, Jiakai Wang, Jie Luo, Xianglong Liu
Abstract要約: Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
参考スコア（独自算出の注目度）: 54.214426436283134
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks, such as the Deep-FSMN, have been widely studied for keyword spotting (KWS) applications while suffering expensive computation and storage. Therefore, network compression technologies like binarization are studied to deploy KWS models on edge. In this paper, we present a strong yet efficient binary neural network for KWS, namely BiFSMNv2, pushing it to the real-network accuracy performance. First, we present a Dual-scale Thinnable 1-bit-Architecture to recover the representation capability of the binarized computation units by dual-scale activation binarization and liberate the speedup potential from an overall architecture perspective. Second, we also construct a Frequency Independent Distillation scheme for KWS binarization-aware training, which distills the high and low-frequency components independently to mitigate the information mismatch between full-precision and binarized representations. Moreover, we implement BiFSMNv2 on ARMv8 real-world hardware with a novel Fast Bitwise Computation Kernel, which is proposed to fully utilize registers and increase instruction throughput. Comprehensive experiments show our BiFSMNv2 outperforms existing binary networks for KWS by convincing margins across different datasets and even achieves comparable accuracy with the full-precision networks (e.g., only 1.59% drop on Speech Commands V1-12). We highlight that benefiting from the compact architecture and optimized hardware kernel, BiFSMNv2 can achieve an impressive 25.1x speedup and 20.2x storage-saving on edge hardware.
Abstract（参考訳）: Deep-FSMNのようなディープニューラルネットワークは、高価な計算とストレージに悩まされながらキーワードスポッティング(KWS)アプリケーションとして広く研究されている。したがって、二項化のようなネットワーク圧縮技術を用いて、KWSモデルをエッジに展開する。本稿では,kwsのための強力かつ効率的なバイナリニューラルネットワークであるbifsmnv2を提案する。まず,2次元化演算ユニットの2次元活性化バイナライゼーションにより表現能力を回復し,全体的なアーキテクチャの観点から高速化ポテンシャルを解放する2次元化可能な1ビットアーキテクチャを提案する。第2に,高周波数成分と低周波数成分を独立に蒸留し,全精度表現と2値化表現間の情報ミスマッチを緩和するkws2値化アウェアトレーニングのための周波数独立蒸留スキームを構築した。さらに,レジスタの完全活用と命令スループットの向上を図ったFast Bitwise Computation Kernelを,ARMv8のリアルタイムハードウェアに実装した。総合的な実験により、我々のBiFSMNv2は、さまざまなデータセットのマージンを証明し、完全な精度のネットワーク(音声コマンドV1-12ではわずか1.59%)で同等の精度を達成することで、KWSの既存のバイナリネットワークより優れています。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。

関連論文リスト

Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文参考訳（メタデータ） (2024-07-16T15:55:38Z)
Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
論文参考訳（メタデータ） (2023-05-04T14:49:07Z)
BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
論文参考訳（メタデータ） (2023-01-26T17:17:16Z)
BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文参考訳（メタデータ） (2022-02-14T05:16:53Z)
High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文参考訳（メタデータ） (2020-10-07T17:58:10Z)
SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks [7.753767947048147]
バイナリ畳み込みニューラルネットワーク(BCNN)に特化して設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。以上の結果から,提案したSoFArは,ショートカット方式のBCNNに比べて精度がよいことがわかった。
論文参考訳（メタデータ） (2020-09-11T10:00:47Z)
Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文参考訳（メタデータ） (2020-03-25T17:54:38Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。