論文の概要: SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2009.05317v1
• Date: Fri, 11 Sep 2020 10:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 21:43:52.638861
• Title: SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks
• Title（参考訳）: sofar:バイナリ畳み込みニューラルネットワークのためのショートカットベースのフラクタルアーキテクチャ
• Authors: Zhu Baozhou, Peter Hofstee, Jinho Lee, Zaid Al-Ars
• Abstract要約: バイナリ畳み込みニューラルネットワーク(BCNN)に特化して設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。 提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。 以上の結果から,提案したSoFArは,ショートカット方式のBCNNに比べて精度がよいことがわかった。
• 参考スコア（独自算出の注目度）: 7.753767947048147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Convolutional Neural Networks (BCNNs) can significantly improve the efficiency of Deep Convolutional Neural Networks (DCNNs) for their deployment on resource-constrained platforms, such as mobile and embedded systems. However, the accuracy degradation of BCNNs is still considerable compared with their full precision counterpart, impeding their practical deployment. Because of the inevitable binarization error in the forward propagation and gradient mismatch problem in the backward propagation, it is nontrivial to train BCNNs to achieve satisfactory accuracy. To ease the difficulty of training, the shortcut-based BCNNs, such as residual connection-based Bi-real ResNet and dense connection-based BinaryDenseNet, introduce additional shortcuts in addition to the shortcuts already present in their full precision counterparts. Furthermore, fractal architectures have been also been used to improve the training process of full-precision DCNNs since the fractal structure triggers effects akin to deep supervision and lateral student-teacher information flow. Inspired by the shortcuts and fractal architectures, we propose two Shortcut-based Fractal Architectures (SoFAr) specifically designed for BCNNs: 1. residual connection-based fractal architectures for binary ResNet, and 2. dense connection-based fractal architectures for binary DenseNet. Our proposed SoFAr combines the adoption of shortcuts and the fractal architectures in one unified model, which is helpful in the training of BCNNs. Results show that our proposed SoFAr achieves better accuracy compared with shortcut-based BCNNs. Specifically, the Top-1 accuracy of our proposed RF-c4d8 ResNet37(41) and DRF-c2d2 DenseNet51(53) on ImageNet outperforms Bi-real ResNet18(64) and BinaryDenseNet51(32) by 3.29% and 1.41%, respectively, with the same computational complexity overhead.
• Abstract（参考訳）: バイナリ畳み込みニューラルネットワーク(BCNN)は、モバイルや組み込みシステムなどのリソース制約のあるプラットフォームへの展開において、ディープ畳み込みニューラルネットワーク(DCNN)の効率を大幅に向上させることができる。 しかし、BCNNの精度の低下は、実際の展開を妨げる完全な精度と比較すると、まだかなり大きい。 前向き伝播における二項化誤差と後向き伝播における勾配ミスマッチ問題により、BCNNを訓練して良好な精度を達成することは容易ではない。 トレーニングの難しさを緩和するために、残留接続ベースのBi-real ResNetや高密度接続ベースのBinaryDenseNetのようなショートカットベースのBCNNは、すでに完全精度のショートカットにあるショートカットに加えて、追加のショートカットを導入している。 さらに, フラクタル構造は, 学生・教員間の情報流の深部管理に類似した効果をもたらすため, フル精度DCNNの訓練プロセスを改善するためにも用いられている。 ショートカットとフラクタルアーキテクチャに触発されて、BCNN用に特別に設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。 1.バイナリ resnetのための残留接続ベースのフラクタルアーキテクチャ 2.バイナリ密度ネットのための密結合型フラクタルアーキテクチャ 提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。 その結果,提案するsofarはショートカット型bbnnと比較して精度が向上した。 具体的には、ImageNet上で提案したRF-c4d8 ResNet37(41)とDRF-c2d2 DenseNet51(53)のTop-1精度が、Bi-real ResNet18(64)とBinaryDenseNet51(32)をそれぞれ3.29%、1.41%上回った。

関連論文リスト

• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
  本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。 本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。 我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
  論文  参考訳（メタデータ） (2022-10-02T01:54:40Z)
• BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
  BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。 実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T05:16:53Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。