Fugu-MT 論文翻訳(概要): Boosting Binary Neural Networks via Dynamic Thresholds Learning

論文の概要: Boosting Binary Neural Networks via Dynamic Thresholds Learning

arxiv url: http://arxiv.org/abs/2211.02292v1
Date: Fri, 4 Nov 2022 07:18:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-13 23:28:52.954046
Title: Boosting Binary Neural Networks via Dynamic Thresholds Learning
Title（参考訳）: 動的閾値学習によるバイナリニューラルネットワークの強化
Authors: Jiehua Zhang, Xueyang Zhang, Zhuo Su, Zitong Yu, Yanghe Feng, Xin Lu, Matti Pietik\"ainen, Li Liu
Abstract要約: 我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。 DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
参考スコア（独自算出の注目度）: 21.835748440099586
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Developing lightweight Deep Convolutional Neural Networks (DCNNs) and Vision Transformers (ViTs) has become one of the focuses in vision research since the low computational cost is essential for deploying vision models on edge devices. Recently, researchers have explored highly computational efficient Binary Neural Networks (BNNs) by binarizing weights and activations of Full-precision Neural Networks. However, the binarization process leads to an enormous accuracy gap between BNN and its full-precision version. One of the primary reasons is that the Sign function with predefined or learned static thresholds limits the representation capacity of binarized architectures since single-threshold binarization fails to utilize activation distributions. To overcome this issue, we introduce the statistics of channel information into explicit thresholds learning for the Sign Function dubbed DySign to generate various thresholds based on input distribution. Our DySign is a straightforward method to reduce information loss and boost the representative capacity of BNNs, which can be flexibly applied to both DCNNs and ViTs (i.e., DyBCNN and DyBinaryCCT) to achieve promising performance improvement. As shown in our extensive experiments. For DCNNs, DyBCNNs based on two backbones (MobileNetV1 and ResNet18) achieve 71.2% and 67.4% top1-accuracy on ImageNet dataset, outperforming baselines by a large margin (i.e., 1.8% and 1.5% respectively). For ViTs, DyBinaryCCT presents the superiority of the convolutional embedding layer in fully binarized ViTs and achieves 56.1% on the ImageNet dataset, which is nearly 9% higher than the baseline.
Abstract（参考訳）: 軽量な深層畳み込みニューラルネットワーク(dcnns)と視覚トランスフォーマー(vits)の開発は、エッジデバイスに視覚モデルをデプロイするのに低い計算コストが不可欠であるため、視覚研究の焦点となっている。近年,完全精度ニューラルネットワークの重み付けとアクティベーションのバイナライズにより,高計算効率のバイナリニューラルネットワーク(BNN)を探索している。しかし、バイナライゼーションプロセスは、BNNとその完全精度バージョンとの間に大きな精度差をもたらす。主な理由の1つは、シングルスレッドバイナライゼーションが活性化分布を利用できないため、事前定義された静的しきい値を持つ符号関数が二項化アーキテクチャの表現能力を制限することである。この問題を解決するために,DySignと呼ばれる符号関数の明確なしきい値学習にチャネル情報の統計を導入し,入力分布に基づいて様々なしきい値を生成する。我々のDySignは、情報損失を低減し、BNNの代表能力を高めるための簡単な方法であり、DCNNとViT(DyBCNNとDyBinaryCCT)の両方に柔軟に適用して、有望な性能向上を実現することができる。広範な実験で示されるように DCNNでは、2つのバックボーン(MobileNetV1とResNet18)をベースとしたDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTでは、DyBinaryCCTは、完全に二項化されたViTの畳み込み層の優位性を示し、ベースラインよりも約9%高いImageNetデータセット上で56.1%を達成する。

関連論文リスト

ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency [0.0]
我々はReActXGBというハイブリッドモデルを提案し、ReActNet-Aの完全な畳み込み層をXGBoostに置き換える。この修正の目的は、より低い計算コストを維持しながら、BCNNと実数値ネットワークのパフォーマンスギャップを狭めることである。
論文参考訳（メタデータ） (2024-05-11T16:38:50Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
INSTA-BNN: Binary Neural Network with INSTAnce-aware Threshold [16.890849856271185]
InSTAnce-aware threshold (INSTA-BNN) を用いた新しいBNN設計法を提案する。 INSTA-BNNは入力依存またはインスタンス認識の方法で量子化閾値を動的に制御する。 InSTA-BNNは,ImageNet分類タスクにおいて,同等の計算コストでベースラインを3.0%,2.8%上回る性能を示した。
論文参考訳（メタデータ） (2022-04-15T12:30:02Z)
Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文参考訳（メタデータ） (2021-12-19T13:49:29Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。 DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
論文参考訳（メタデータ） (2021-10-08T17:41:36Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Self-Distribution Binary Neural Networks [18.69165083747967]
重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。 SD-BNN(Self-Distribution Biinary Neural Network)を提案する。 CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
論文参考訳（メタデータ） (2021-03-03T13:39:52Z)
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文参考訳（メタデータ） (2021-02-17T18:59:28Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。