論文の概要: BiBench: Benchmarking and Analyzing Network Binarization
- arxiv url: http://arxiv.org/abs/2301.11233v2
- Date: Sat, 20 May 2023 11:04:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 04:30:16.504484
- Title: BiBench: Benchmarking and Analyzing Network Binarization
- Title（参考訳）: bibench: ベンチマークとネットワークバイナリ化の分析
- Authors: Haotong Qin, Mingyuan Zhang, Yifu Ding, Aoyu Li, Zhongang Cai, Ziwei
Liu, Fisher Yu, Xianglong Liu
- Abstract要約: ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。
精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。
ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
- 参考スコア（独自算出の注目度）: 72.59760752906757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network binarization emerges as one of the most promising compression
approaches offering extraordinary computation and memory savings by minimizing
the bit-width. However, recent research has shown that applying existing
binarization algorithms to diverse tasks, architectures, and hardware in
realistic scenarios is still not straightforward. Common challenges of
binarization, such as accuracy degradation and efficiency limitation, suggest
that its attributes are not fully understood. To close this gap, we present
BiBench, a rigorously designed benchmark with in-depth analysis for network
binarization. We first carefully scrutinize the requirements of binarization in
the actual production and define evaluation tracks and metrics for a
comprehensive and fair investigation. Then, we evaluate and analyze a series of
milestone binarization algorithms that function at the operator level and with
extensive influence. Our benchmark reveals that 1) the binarized operator has a
crucial impact on the performance and deployability of binarized networks; 2)
the accuracy of binarization varies significantly across different learning
tasks and neural architectures; 3) binarization has demonstrated promising
efficiency potential on edge devices despite the limited hardware support. The
results and analysis also lead to a promising paradigm for accurate and
efficient binarization. We believe that BiBench will contribute to the broader
adoption of binarization and serve as a foundation for future research. The
code for our BiBench is released https://github.com/htqin/BiBench .
- Abstract（参考訳）: ネットワークバイナライゼーションは、ビット幅を最小化することで、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つである。
しかし、最近の研究では、現実的なシナリオで様々なタスク、アーキテクチャ、ハードウェアに既存のバイナリ化アルゴリズムを適用するのは、まだ単純ではないことが示されている。
精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。
このギャップを埋めるため,ネットワークバイナライゼーションのための詳細な解析を行うベンチマークであるBiBenchを提案する。
まず,実生産におけるバイナリ化の要件を慎重に検討し,総合的かつ公平な調査のために評価トラックとメトリクスを定義する。
そこで我々は,演算子レベルで機能し,幅広い影響を与える一連のマイルストーンバイナライズアルゴリズムを評価し,解析する。
私たちのベンチマークは
1) 二元化オペレータは、二元化ネットワークの性能及び展開性に重大な影響を与える。
2)二項化の精度は学習課題や神経アーキテクチャによって大きく異なる。
3)バイナライゼーションは,ハードウェアサポートが限られているにもかかわらず,エッジデバイスに有望な効率性を示す。
結果と分析は、正確で効率的なバイナリ化のための有望なパラダイムにもつながります。
BiBenchがバイナライゼーションの広範な採用に寄与し、将来の研究の基盤となると信じています。
BiBenchのコードはhttps://github.com/htqin/BiBench である。
関連論文リスト
- BiDense: Binarization for Dense Prediction [62.70804353158387]
BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。
BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
論文 参考訳（メタデータ） (2024-11-15T16:46:04Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳（メタデータ） (2022-11-13T18:31:45Z) - Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。
MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。
以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文 参考訳（メタデータ） (2022-07-06T21:04:53Z) - BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。
実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文 参考訳（メタデータ） (2022-02-14T05:16:53Z) - Semantic-aware Binary Code Representation with BERT [27.908093567605484]
バグ発見、マルウェア分析、コードクローン検出など、幅広いバイナリ分析アプリケーションでは、バイナリコード上でのコンテキスト意味の回復が必要である。
近年,バイナリのコード表現を自動再構築するために,機械学習に基づくバイナリ解析手法が提案されている。
本稿では,バイナリコードのセマンティックなコード表現を生成するためにBERTを利用するDeepSemanticを提案する。
論文 参考訳（メタデータ） (2021-06-10T03:31:29Z) - High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。
メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。
本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文 参考訳（メタデータ） (2020-10-07T17:58:10Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。