論文の概要: A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks
- arxiv url: http://arxiv.org/abs/2104.05124v1
- Date: Sun, 11 Apr 2021 22:20:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 05:48:56.542050
- Title: A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks
- Title（参考訳）: bop and beyond: 二元化ニューラルネットワークのための二階最適化器
- Authors: Cuauhtemoc Daniel Suarez-Ramirez, Miguel Gonzalez-Mendoza, Leonardo
Chang-Fernandez, Gilberto Ochoa-Ruiz, Mario Alberto Duran-Vega
- Abstract要約: Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。
本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。
提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimization of Binary Neural Networks (BNNs) relies on approximating the
real-valued weights with their binarized representations. Current techniques
for weight-updating use the same approaches as traditional Neural Networks
(NNs) with the extra requirement of using an approximation to the derivative of
the sign function - as it is the Dirac-Delta function - for back-propagation;
thus, efforts are focused adapting full-precision techniques to work on BNNs.
In the literature, only one previous effort has tackled the problem of directly
training the BNNs with bit-flips by using the first raw moment estimate of the
gradients and comparing it against a threshold for deciding when to flip a
weight (Bop). In this paper, we take an approach parallel to Adam which also
uses the second raw moment estimate to normalize the first raw moment before
doing the comparison with the threshold, we call this method Bop2ndOrder. We
present two versions of the proposed optimizer: a biased one and a
bias-corrected one, each with its own applications. Also, we present a complete
ablation study of the hyperparameters space, as well as the effect of using
schedulers on each of them. For these studies, we tested the optimizer in
CIFAR10 using the BinaryNet architecture. Also, we tested it in ImageNet 2012
with the XnorNet and BiRealNet architectures for accuracy. In both datasets our
approach proved to converge faster, was robust to changes of the
hyperparameters, and achieved better accuracy values.
- Abstract（参考訳）: バイナリニューラルネットワーク(BNN)の最適化は、実数値重みを二項化表現で近似することに依存する。
現在の重みづけのテクニックは、従来のニューラルネットワーク(nns)と同じアプローチで、符号関数の導関数(ディラックデルタ関数)の近似をバックプロパゲーションに使用するという余分な要件がある。
文献では、BNNをビットフリップで直接訓練する作業は、グラデーションの最初の生のモーメント推定を用いて、いつ重みをひっくり返すかを決定するしきい値(Bop)と比較することで1つだけに過ぎなかった。
本稿では,第2の生モーメント推定値を用いてしきい値との比較を行う前に,第1の生モーメントの正規化を行うAdamと平行なアプローチを,この手法をBop2ndOrderと呼ぶ。
提案するオプティマイザにはバイアス補正とバイアス補正の2つのバージョンがあり,それぞれに独自のアプリケーションがある。
また,ハイパーパラメータ空間の完全アブレーション実験を行い,スケジューラの使用による影響について述べる。
これらの研究のために、BinaryNetアーキテクチャを用いて、CIFAR10のオプティマイザをテストした。
また、正確には、ImageNet 2012でXnorNetとBiRealNetアーキテクチャを使ってテストしました。
両方のデータセットにおいて、我々のアプローチはより早く収束し、ハイパーパラメータの変化に対して堅牢であり、精度が向上した。
関連論文リスト
- BiPer: Binary Neural Networks using a Periodic Function [17.461853355858022]
量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。
バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。
現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
論文 参考訳（メタデータ） (2024-04-01T17:52:17Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳（メタデータ） (2022-08-17T05:43:33Z) - Spike time displacement based error backpropagation in convolutional
spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。
MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。
後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文 参考訳（メタデータ） (2021-08-31T05:18:59Z) - How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。
我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
論文 参考訳（メタデータ） (2021-06-21T17:59:51Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳（メタデータ） (2020-10-19T08:11:48Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳（メタデータ） (2020-07-10T07:55:39Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。