論文の概要: NASB: Neural Architecture Search for Binary Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2008.03515v1
• Date: Sat, 8 Aug 2020 13:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 12:05:10.124073
• Title: NASB: Neural Architecture Search for Binary Convolutional Neural Networks
• Title（参考訳）: nasb:バイナリ畳み込みニューラルネットワークのためのニューラルネットワーク探索
• Authors: Baozhou Zhu, Zaid Al-Ars, Peter Hofstee
• Abstract要約: 我々は、ニューラルネットワーク探索(NAS)を採用したNASBという戦略を提案し、CNNのバイナライゼーションに最適なアーキテクチャを提案する。 この自動戦略の柔軟性のため、得られたアーキテクチャは二項化に適合するだけでなく、オーバーヘッドも低い。 NASBは、既存のシングルCNNと複数のバイナリCNNをそれぞれ最大4.0%、トップ1の精度1.0%で上回っている。
• 参考スコア（独自算出の注目度）: 2.3204178451683264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Convolutional Neural Networks (CNNs) have significantly reduced the number of arithmetic operations and the size of memory storage needed for CNNs, which makes their deployment on mobile and embedded systems more feasible. However, the CNN architecture after binarizing requires to be redesigned and refined significantly due to two reasons: 1. the large accumulation error of binarization in the forward propagation, and 2. the severe gradient mismatch problem of binarization in the backward propagation. Even though the substantial effort has been invested in designing architectures for single and multiple binary CNNs, it is still difficult to find an optimal architecture for binary CNNs. In this paper, we propose a strategy, named NASB, which adopts Neural Architecture Search (NAS) to find an optimal architecture for the binarization of CNNs. Due to the flexibility of this automated strategy, the obtained architecture is not only suitable for binarization but also has low overhead, achieving a better trade-off between the accuracy and computational complexity of hand-optimized binary CNNs. The implementation of NASB strategy is evaluated on the ImageNet dataset and demonstrated as a better solution compared to existing quantized CNNs. With the insignificant overhead increase, NASB outperforms existing single and multiple binary CNNs by up to 4.0% and 1.0% Top-1 accuracy respectively, bringing them closer to the precision of their full precision counterpart. The code and pretrained models will be publicly available.
• Abstract（参考訳）: バイナリ畳み込みニューラルネットワーク(CNN)は、算術演算の数とCNNに必要なメモリストレージのサイズを大幅に削減し、モバイルや組み込みシステムへのデプロイメントをより実現した。 しかし、バイナリ化後のcnnアーキテクチャは、2つの理由により大幅に再設計され、洗練される必要がある。 一 前方伝播における二項化の大規模な累積誤差及び 2. 後方伝播における二項化の重度勾配ミスマッチ問題 単一および複数のバイナリCNNのアーキテクチャ設計に多大な労力が費やされているが、バイナリCNNに最適なアーキテクチャを見つけることは依然として困難である。 本稿では,ニューラルネットワーク探索(NAS)を採用したNASBという戦略を提案し,CNNのバイナライゼーションに最適なアーキテクチャを提案する。 この自動戦略の柔軟性のため、得られたアーキテクチャは双対化に適合するだけでなく、オーバーヘッドも低く、手動最適化されたバイナリCNNの精度と計算複雑性のトレードオフが良くなる。 NASB戦略の実装はImageNetデータセット上で評価され、既存の量子化されたCNNよりも優れたソリューションとして実証された。 オーバーヘッドの増加に伴い、nasbは既存のシングルとマルチバイナリのcnnをそれぞれ4.0%と1.0%のtop-1精度で上回り、完全精度のcnnの精度に近づいている。 コードと事前訓練されたモデルは一般公開される。

関連論文リスト

• BinaryViT: Pushing Binary Vision Transformers Towards Convolutional Models [0.0]
  バイナリ化は、ViTモデルのサイズと計算コストを大幅に削減するのに役立つ。 ViTは、畳み込みニューラルネットワーク(CNN)バイナライゼーションメソッドを直接適用する場合、パフォーマンスが低下する。 我々は、CNNアーキテクチャにインスパイアされたBinaryViTを提案し、CNNアーキテクチャから純粋なViTアーキテクチャへの操作を含む。
  論文  参考訳（メタデータ） (2023-06-29T04:48:02Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures [21.671696519808226]
  バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
  論文  参考訳（メタデータ） (2020-11-21T14:38:44Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。