論文の概要: Binary Neural Networks as a general-propose compute paradigm for
on-device computer vision
- arxiv url: http://arxiv.org/abs/2202.03716v1
- Date: Tue, 8 Feb 2022 08:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 15:30:21.121444
- Title: Binary Neural Networks as a general-propose compute paradigm for
on-device computer vision
- Title（参考訳）: デバイス上コンピュータビジョンのための汎用計算パラダイムとしてのバイナリニューラルネットワーク
- Authors: Guhong Nie (1), Lirui Xiao (1), Menglong Zhu (1), Dongliang Chu (1),
Yue Shen (1), Peng Li (1), Kang Yang (1), Li Du (2) and Bo Chen (1) ((1) DJI
Innovations Inc, (2) School of Electronic Science and Engineering, Nanjing
University)
- Abstract要約: 本稿では,1)ハードウェアフレンドリ性のための最小限の推論スキーム,2)高精度な過剰パラメータ化トレーニングスキーム,3)異なる視覚タスクに適応するための簡単な手順からなるBNNフレームワークを提案する。
このフレームワークは、分類、検出、セグメンテーション、超解像、マッチングのための速度-vs精度トレードオフにおいて8ビットの量子化を上回ります。
我々のBNNは、2.8-7$times$8ビットより少ない実行サイクル、2.1-2.7$times$代替BNNの設計より少ないサイクルを約束している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For binary neural networks (BNNs) to become the mainstream on-device computer
vision algorithm, they must achieve a superior speed-vs-accuracy tradeoff than
8-bit quantization and establish a similar degree of general applicability in
vision tasks. To this end, we propose a BNN framework comprising 1) a
minimalistic inference scheme for hardware-friendliness, 2) an
over-parameterized training scheme for high accuracy, and 3) a simple procedure
to adapt to different vision tasks. The resultant framework overtakes 8-bit
quantization in the speed-vs-accuracy tradeoff for classification, detection,
segmentation, super-resolution and matching: our BNNs not only retain the
accuracy levels of their 8-bit baselines but also showcase 1.3-2.4$\times$
faster FPS on mobile CPUs. Similar conclusions can be drawn for prototypical
systolic-array-based AI accelerators, where our BNNs promise 2.8-7$\times$
fewer execution cycles than 8-bit and 2.1-2.7$\times$ fewer cycles than
alternative BNN designs. These results suggest that the time for large-scale
BNN adoption could be upon us.
- Abstract（参考訳）: バイナリニューラルネットワーク(BNN)がデバイス上でのコンピュータビジョンアルゴリズムの主流となるためには、8ビット量子化よりも高速vs精度のトレードオフを達成し、ビジョンタスクでも同様の一般応用性を確立する必要がある。
この目的のために,我々はBNNフレームワークを提案する。
1)ハードウェアフレンドリーのための最小限の推論方式
2 高精度な過度パラメータ化訓練方法、及び
3)異なる視覚タスクに適応するための簡単な手順。
我々のBNNは8ビットベースラインの精度レベルを保持するだけでなく、モバイルCPU上で1.3-2.4$\times$高速FPSを示す。
我々のBNNは、2.8-7$\times$8ビットより少ない実行サイクル、2.1-2.7$\times$代替BNNの設計よりも少ない実行サイクルを約束している。
これらの結果から,大規模なBNN導入の時期が示唆された。
関連論文リスト
- Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of
Binary Neural Networks [0.0]
単一MRRを用いた光XNORゲート(OXG)を発明する
我々は光電荷蓄積器(PCA)と呼ばれるビットカウント回路の新規設計を提案する。
最新の4つのBNNを推定すると、OXBNNはFPS(F frames-per-second)とFPS/W(エネルギー効率)において最大62倍と7.6倍の改善を実現していることがわかる。
論文 参考訳（メタデータ） (2023-02-03T20:56:01Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with
Fractional Activations [20.218382369944152]
binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。
BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。
本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
論文 参考訳（メタデータ） (2020-12-22T17:49:30Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳（メタデータ） (2020-10-19T08:11:48Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。