Fugu-MT 論文翻訳(概要): PokeBNN: A Binary Pursuit of Lightweight Accuracy

論文の概要: PokeBNN: A Binary Pursuit of Lightweight Accuracy

arxiv url: http://arxiv.org/abs/2112.00133v1
Date: Tue, 30 Nov 2021 22:05:59 GMT
ステータス: 処理完了
システム内更新日: 2021-12-03 05:26:04.842290
Title: PokeBNN: A Binary Pursuit of Lightweight Accuracy
Title（参考訳）: PokeBNN:ライトウェイト精度の2つの理由
Authors: Yichi Zhang, Zhiru Zhang, Lukasz Lew
Abstract要約: バイナリニューラルネットワーク(BNN)は計算強度を大幅に低下させる可能性があるが、既存のモデルは品質の低下に悩まされている。複数の残差パスを追加する手法によってBNNの品質を向上させるバイナリ畳み込みブロックであるPokeConvを提案する。これらの手法は、トップ1の精度とネットワークコストの両方において良好な改善をもたらすために選択される。
参考スコア（独自算出の注目度）: 20.45798026556764
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Top-1 ImageNet optimization promotes enormous networks that may be impractical in inference settings. Binary neural networks (BNNs) have the potential to significantly lower the compute intensity but existing models suffer from low quality. To overcome this deficiency, we propose PokeConv, a binary convolution block which improves quality of BNNs by techniques such as adding multiple residual paths, and tuning the activation function. We apply it to ResNet-50 and optimize ResNet's initial convolutional layer which is hard to binarize. We name the resulting network family PokeBNN. These techniques are chosen to yield favorable improvements in both top-1 accuracy and the network's cost. In order to enable joint optimization of the cost together with accuracy, we define arithmetic computation effort (ACE), a hardware- and energy-inspired cost metric for quantized and binarized networks. We also identify a need to optimize an under-explored hyper-parameter controlling the binarization gradient approximation. We establish a new, strong state-of-the-art (SOTA) on top-1 accuracy together with commonly-used CPU64 cost, ACE cost and network size metrics. ReActNet-Adam, the previous SOTA in BNNs, achieved a 70.5% top-1 accuracy with 7.9 ACE. A small variant of PokeBNN achieves 70.5% top-1 with 2.6 ACE, more than 3x reduction in cost; a larger PokeBNN achieves 75.6% top-1 with 7.8 ACE, more than 5% improvement in accuracy without increasing the cost. PokeBNN implementation in JAX/Flax and reproduction instructions are open sourced.
Abstract（参考訳）: Top-1 ImageNet最適化は、推論設定において実用的でない可能性のある巨大なネットワークを促進する。バイナリニューラルネットワーク(BNN)は計算強度を大幅に低下させる可能性があるが、既存のモデルは品質が低い。この欠陥を克服するために、複数の残路の追加やアクティベーション関数のチューニングといった手法によりBNNの品質を向上させるバイナリ畳み込みブロックであるPokeConvを提案する。 ResNet-50に適用し、二項化が難しいResNetの初期畳み込み層を最適化する。ネットワークファミリであるPokeBNNを以下に示す。これらの手法はtop-1の精度とネットワークのコストの両方において良好な改善をもたらすために選択される。コストを精度とともに共同で最適化するために、量子化および二項化ネットワークのためのハードウェアおよびエネルギーに着想を得たコストメトリックである演算演算(ACE)を定義する。また,2値化勾配近似を制御する超パラメータの最適化の必要性も明らかにした。我々は、一般的なCPU64コスト、ACEコスト、ネットワークサイズメトリクスとともに、トップ1の精度で新しい強力な最先端(SOTA)を確立します。以前のBNNのSOTAであるReActNet-Adamは7.9ACEで70.5%のトップ1の精度を達成した。 pokebnn は 70.5% の top-1 と 2.6 ace と 3倍のコスト削減を達成し、pokebnn は 75.6% の top-1 と 7.8 ace を達成し、コストを増加させることなく精度が 5% 以上向上した。 JAX/Flax での PokeBNN の実装と再生命令はオープンソースである。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency [0.0]
我々はReActXGBというハイブリッドモデルを提案し、ReActNet-Aの完全な畳み込み層をXGBoostに置き換える。この修正の目的は、より低い計算コストを維持しながら、BCNNと実数値ネットワークのパフォーマンスギャップを狭めることである。
論文参考訳（メタデータ） (2024-05-11T16:38:50Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
RepBNN: towards a precise Binary Neural Network with Enhanced Feature Map via Repeating [19.091622136753656]
バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)の極端な量子化バージョンで、すべての特徴と重みを1ビットにマッピングする。本稿では,新しい交換可能で使いやすい畳み込みモジュールRepConvを提案する。
論文参考訳（メタデータ） (2022-07-19T03:38:34Z)
Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文参考訳（メタデータ） (2021-12-19T13:49:29Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
論文参考訳（メタデータ） (2021-06-21T17:59:51Z)
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文参考訳（メタデータ） (2021-04-16T16:46:57Z)
Self-Distribution Binary Neural Networks [18.69165083747967]
重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。 SD-BNN(Self-Distribution Biinary Neural Network)を提案する。 CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
論文参考訳（メタデータ） (2021-03-03T13:39:52Z)
FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文参考訳（メタデータ） (2020-10-19T08:11:48Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。