論文の概要: BCNN: A Binary CNN with All Matrix Ops Quantized to 1 Bit Precision
- arxiv url: http://arxiv.org/abs/2010.00704v4
- Date: Fri, 5 Mar 2021 14:46:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 07:36:14.059818
- Title: BCNN: A Binary CNN with All Matrix Ops Quantized to 1 Bit Precision
- Title(参考訳): BCNN: すべてのマトリックスオプティクスを1ビット精度に量子化したバイナリCNN
- Authors: Arthur J. Redfern and Lijun Zhu and Molly K. Newquist
- Abstract要約: 本稿では,行列行列乗算未満のCNNスタイルの2次元畳み込み演算がすべてバイナリであるCNNについて述べる。
このネットワークは、バイナリニューラルネットワークが普遍関数近似器であることを示す構成的証明アウトラインと整合した共通のビルディングブロック構造から導かれる。
- 参考スコア(独自算出の注目度): 6.445605125467574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes a CNN where all CNN style 2D convolution operations that
lower to matrix matrix multiplication are fully binary. The network is derived
from a common building block structure that is consistent with a constructive
proof outline showing that binary neural networks are universal function
approximators. 71.24% top 1 accuracy on the 2012 ImageNet validation set was
achieved with a 2 step training procedure and implementation strategies
optimized for binary operands are provided.
- Abstract(参考訳): 本稿では,行列行列乗算未満のCNNスタイルの2次元畳み込み演算がすべてバイナリであるCNNについて述べる。
このネットワークは、バイナリニューラルネットワークが普遍関数近似器であることを示す構成的証明アウトラインと整合した共通のビルディングブロック構造から導かれる。
2012年のimagenetバリデーションセットの71.24%が2段階のトレーニング手順で達成され、バイナリオペランドに最適化された実装戦略が提供されている。
関連論文リスト
- A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network [5.144744286453014]
A&B BNNは、従来のBNNにおける乗算操作の一部を削除し、残りを同じ数のビット演算で置き換えることを提案する。
マスク層は、BNNの固有の特性を活用することにより、推論中に除去することができる。
量子化RPReLU構造は、傾きを2の整数パワーに制限することで、より効率的なビット演算を可能にする。
論文 参考訳(メタデータ) (2024-03-06T14:28:49Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳(メタデータ) (2023-03-25T13:53:02Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳(メタデータ) (2022-09-03T11:51:04Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳(メタデータ) (2022-08-17T05:43:33Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳(メタデータ) (2020-10-15T07:26:23Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳(メタデータ) (2020-08-08T13:32:33Z) - NASB: Neural Architecture Search for Binary Convolutional Neural
Networks [2.3204178451683264]
我々は、ニューラルネットワーク探索(NAS)を採用したNASBという戦略を提案し、CNNのバイナライゼーションに最適なアーキテクチャを提案する。
この自動戦略の柔軟性のため、得られたアーキテクチャは二項化に適合するだけでなく、オーバーヘッドも低い。
NASBは、既存のシングルCNNと複数のバイナリCNNをそれぞれ最大4.0%、トップ1の精度1.0%で上回っている。
論文 参考訳(メタデータ) (2020-08-08T13:06:11Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳(メタデータ) (2020-07-10T07:55:39Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳(メタデータ) (2020-05-13T13:25:51Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳(メタデータ) (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。