論文の概要: MixBin: Towards Budgeted Binarization
- arxiv url: http://arxiv.org/abs/2211.06739v1
- Date: Sat, 12 Nov 2022 20:30:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:16:45.551359
- Title: MixBin: Towards Budgeted Binarization
- Title（参考訳）: MixBin: 予算のバイナリ化を目指す
- Authors: Udbhav Bamba, Neeraj Anand, Dilip K. Prasad, Deepak K. Gupta
- Abstract要約: 制御された意味でニューラルネットワークの部分二項化を行うためのパラダイムを提案する。
予算付きバイナリニューラルネットワーク(B2NN)を構築する反復型検索ベースの戦略であるMixBinを提案する。
また、B2NNのバイナリコンポーネントと同様に、全精度で有効なアクティベーション関数として使用できるBinReLUを提案する。
- 参考スコア（独自算出の注目度）: 12.787276463929759
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Binarization has proven to be amongst the most effective ways of neural
network compression, reducing the FLOPs of the original model by a large
extent. However, such levels of compression are often accompanied by a
significant drop in the performance. There exist some approaches that reduce
this performance drop by facilitating partial binarization of the network,
however, a systematic approach to mix binary and full-precision parameters in a
single network is still missing. In this paper, we propose a paradigm to
perform partial binarization of neural networks in a controlled sense, thereby
constructing budgeted binary neural network (B2NN). We present MixBin, an
iterative search-based strategy that constructs B2NN through optimized mixing
of the binary and full-precision components. MixBin allows to explicitly choose
the approximate fraction of the network to be kept as binary, thereby
presenting the flexibility to adapt the inference cost at a prescribed budget.
We demonstrate through experiments that B2NNs obtained from our MixBin strategy
are significantly better than those obtained from random selection of the
network layers. To perform partial binarization in an effective manner, it is
important that both the full-precision as well as the binary components of the
B2NN are appropriately optimized. We also demonstrate that the choice of the
activation function can have a significant effect on this process, and to
circumvent this issue, we present BinReLU, that can be used as an effective
activation function for the full-precision as well as the binary components of
any B2NN. Experimental investigations reveal that BinReLU outperforms the other
activation functions in all possible scenarios of B2NN: zero-, partial- as well
as full binarization. Finally, we demonstrate the efficacy of MixBin on the
tasks of classification and object tracking using benchmark datasets.
- Abstract（参考訳）: バイナリ化は、ニューラルネットワーク圧縮の最も効果的な方法のひとつであることが証明されており、元のモデルのFLOPを広範囲に削減している。
しかし、このようなレベルの圧縮は、しばしば性能の大幅な低下を伴う。
ネットワークの部分的なバイナリ化を容易にすることで、パフォーマンス低下を軽減するいくつかのアプローチが存在するが、単一のネットワークでバイナリと全精度パラメータを混合する体系的なアプローチはまだ欠けている。
本稿では,制御された感覚でニューラルネットワークの部分二元化を行うパラダイムを提案し,予算付き二元ニューラルネットワーク(b2nn)を構築する。
本研究では,b2nn を構成する反復探索型戦略である mixbin を提案する。
mixbinは、ネットワークのおよその分数をバイナリとして明示的に選択することで、所定の予算で推論コストを適用できる柔軟性を提供する。
我々は、MixBin戦略から得られたB2NNが、ネットワーク層のランダムな選択から得られるものよりもはるかに優れていることを示す。
半二項化を効果的に行うためには、B2NNの完全精度とバイナリコンポーネントの両方を適切に最適化することが重要である。
また、このプロセスにおいて活性化関数の選択が大きな影響を与えることを実証し、この問題を回避するために、B2NNのバイナリコンポーネントと同様に、全精度で有効な活性化関数として使用できるBinReLUを提案する。
実験的研究により、binreluはb2nnの全ての可能なシナリオで他の活性化関数よりも優れていることが判明した。
最後に,ベンチマークデータセットを用いた分類とオブジェクト追跡におけるmixbinの有効性を示す。
関連論文リスト
- Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳（メタデータ） (2022-08-17T05:43:33Z) - Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。
MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。
以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文 参考訳（メタデータ） (2022-07-06T21:04:53Z) - Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。
バイモーダル分散バイナライゼーション法(メソッド名)を提案する。
これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
論文 参考訳（メタデータ） (2022-04-05T06:07:05Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳（メタデータ） (2020-07-10T07:55:39Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。