論文の概要: ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions

• arxiv url: http://arxiv.org/abs/2003.03488v2
• Date: Mon, 13 Jul 2020 03:05:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:40:48.991784
• Title: ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions
• Title（参考訳）: ReActNet: 一般化活性化機能を持つ高精度バイナリニューラルネットワークを目指して
• Authors: Zechun Liu and Zhiqiang Shen and Marios Savvides and Kwang-Ting Cheng
• Abstract要約: 本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
• 参考スコア（独自算出の注目度）: 76.05981545084738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose several ideas for enhancing a binary network to close its accuracy gap from real-valued networks without incurring any additional computational cost. We first construct a baseline network by modifying and binarizing a compact real-valued network with parameter-free shortcuts, bypassing all the intermediate convolutional layers including the downsampling layers. This baseline network strikes a good trade-off between accuracy and efficiency, achieving superior performance than most of existing binary networks at approximately half of the computational cost. Through extensive experiments and analysis, we observed that the performance of binary networks is sensitive to activation distribution variations. Based on this important observation, we propose to generalize the traditional Sign and PReLU functions, denoted as RSign and RPReLU for the respective generalized functions, to enable explicit learning of the distribution reshape and shift at near-zero extra cost. Lastly, we adopt a distributional loss to further enforce the binary network to learn similar output distributions as those of a real-valued network. We show that after incorporating all these ideas, the proposed ReActNet outperforms all the state-of-the-arts by a large margin. Specifically, it outperforms Real-to-Binary Net and MeliusNet29 by 4.0% and 3.6% respectively for the top-1 accuracy and also reduces the gap to its real-valued counterpart to within 3.0% top-1 accuracy on ImageNet dataset. Code and models are available at: https://github.com/liuzechun/ReActNet.
• Abstract（参考訳）: 本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず、パラメータフリーのショートカットでコンパクトな実数値ネットワークを修正・バイナライズし、ダウンサンプリング層を含むすべての中間畳み込み層をバイパスしてベースラインネットワークを構築する。 このベースラインネットワークは精度と効率のトレードオフが良く、計算コストの約半分で既存のほとんどのバイナリネットワークよりも優れた性能が得られる。 実験と分析により,バイナリネットワークの性能は活性化分布の変動に敏感であることがわかった。 この重要な観測に基づいて、各一般化関数に対してRSignとRPReLUと表記される従来のSignおよびPRELU関数を一般化し、分散再生成とシフトをほぼゼロのコストで明示的に学習できるようにする。 最後に,分散損失を採用し,実数値ネットワークと類似した出力分布を学習するよう,バイナリネットワークをさらに強制する。 これらのアイデアを全て取り入れた結果、提案されたReActNetは、最先端のすべてのものを大きなマージンで上回ります。 具体的には、real-to-binary net と meliusnet29 をそれぞれ top-1 の精度で 4.0% と 3.6% で上回り、imagenet データセットの top-1 の精度は 3.0% 以下となる。 コードとモデルは、https://github.com/liuzechun/reactnetで入手できる。

関連論文リスト

• BiHRNet: A Binary high-resolution network for Human Pose Estimation [11.250422970707415]
  重みとアクティベーションを$pm$1と表現したBiHRNetという2値のポーズ推定器を提案する。 BiHRNetは、バイナリニューラルネットワーク(BNN)を適用することで、少ないコンピューティングリソースを使用しながら、HRNetのキーポイント抽出能力を保っている。 我々は、BiHRNetがMPIIデータセット上で87.9のPCKhを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-17T03:01:37Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
  BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。 実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T05:16:53Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。