論文の概要: Training Binary Neural Networks with Real-to-Binary Convolutions

• arxiv url: http://arxiv.org/abs/2003.11535v1
• Date: Wed, 25 Mar 2020 17:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 03:33:18.983261
• Title: Training Binary Neural Networks with Real-to-Binary Convolutions
• Title（参考訳）: 実対2重畳み込みによるバイナリニューラルネットワークのトレーニング
• Authors: Brais Martinez and Jing Yang and Adrian Bulat and Georgios Tzimiropoulos
• Abstract要約: 完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
• 参考スコア（独自算出の注目度）: 52.91164959767517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper shows how to train binary networks to within a few percent points ($\sim 3-5 \%$) of the full precision counterpart. We first show how to build a strong baseline, which already achieves state-of-the-art accuracy, by combining recently proposed advances and carefully adjusting the optimization procedure. Secondly, we show that by attempting to minimize the discrepancy between the output of the binary and the corresponding real-valued convolution, additional significant accuracy gains can be obtained. We materialize this idea in two complementary ways: (1) with a loss function, during training, by matching the spatial attention maps computed at the output of the binary and real-valued convolutions, and (2) in a data-driven manner, by using the real-valued activations, available during inference prior to the binarization process, for re-scaling the activations right after the binary convolution. Finally, we show that, when putting all of our improvements together, the proposed model beats the current state of the art by more than 5% top-1 accuracy on ImageNet and reduces the gap to its real-valued counterpart to less than 3% and 5% top-1 accuracy on CIFAR-100 and ImageNet respectively when using a ResNet-18 architecture. Code available at https://github.com/brais-martinez/real2binary.
• Abstract（参考訳）: 本稿では,完全精度の2進ネットワークを数ポイント($\sim 3-5 \%$)以内でトレーニングする方法を示す。 まず,最近提案された進歩を組み合わせて最適化手順を慎重に調整することにより,最先端の精度をすでに達成している強固なベースラインを構築する方法を示す。 第二に、バイナリの出力とそれに対応する実値の畳み込みとの差を最小限に抑えることによって、さらなる有意な精度向上が得られることを示す。 この概念は,(1)二項畳み込みと実数値畳み込みの出力で計算された空間的注意マップを一致させ,(2)二項畳み込みの直後に再スケーリングするために,二項畳み込み前の推論中に利用可能な実数値活性化を用いてデータ駆動的に実現する,という相補的な方法によって実現される。 最後に、これらの改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1の精度で、ResNet-18アーキテクチャを使用する場合、CIFAR-100では3%未満、ImageNetでは5%以上のトップ1の精度で、実際の評価対象とのギャップを小さくする。 コードはhttps://github.com/brais-martinez/real2binary。

関連論文リスト

• Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
  本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。 得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
  論文  参考訳（メタデータ） (2023-05-04T14:49:07Z)
• Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket [10.552465253379134]
  ILSVRC-2012 ImageNetにおいて、バイナリニューラルネットワークが重要な精度レベル(例えば80%)をどうやって達成できるのか? 我々は、バイナリアーキテクチャとその最適化プロセスの包括的な研究に基づいて、新しいバイナリアーキテクチャBNextを設計する。 極めて正確なバイナリモデルを訓練する際の直感的オーバーフィッティング問題を軽減するために,新しい知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T13:08:58Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。