論文の概要: Distillation Guided Residual Learning for Binary Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2007.05223v2
• Date: Mon, 27 Jul 2020 01:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 22:09:41.701107
• Title: Distillation Guided Residual Learning for Binary Convolutional Neural Networks
• Title（参考訳）: 二元畳み込みニューラルネットワークのための蒸留誘導残留学習
• Authors: Jianming Ye, Shiliang Zhang, Jingdong Wang
• Abstract要約: Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
• 参考スコア（独自算出の注目度）: 83.6169936912264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is challenging to bridge the performance gap between Binary CNN (BCNN) and Floating point CNN (FCNN). We observe that, this performance gap leads to substantial residuals between intermediate feature maps of BCNN and FCNN. To minimize the performance gap, we enforce BCNN to produce similar intermediate feature maps with the ones of FCNN. This training strategy, i.e., optimizing each binary convolutional block with block-wise distillation loss derived from FCNN, leads to a more effective optimization to BCNN. It also motivates us to update the binary convolutional block architecture to facilitate the optimization of block-wise distillation loss. Specifically, a lightweight shortcut branch is inserted into each binary convolutional block to complement residuals at each block. Benefited from its Squeeze-and-Interaction (SI) structure, this shortcut branch introduces a fraction of parameters, e.g., 10\% overheads, but effectively complements the residuals. Extensive experiments on ImageNet demonstrate the superior performance of our method in both classification efficiency and accuracy, e.g., BCNN trained with our methods achieves the accuracy of 60.45\% on ImageNet.
• Abstract（参考訳）: Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差がbcnnとfcnnの中間特徴マップの間に実質的な残差をもたらすことを観察する。 性能ギャップを最小限に抑えるため,BCNNはFCNNと類似の中間特徴写像を生成する。 このトレーニング戦略、すなわちfcnnからのブロック回り蒸留損失を伴う各バイナリ畳み込みブロックの最適化は、bcnnのより効果的な最適化につながる。 また、ブロックワイド蒸留損失の最適化を容易にするために、バイナリ畳み込みブロックアーキテクチャを更新する動機も持つ。 具体的には、各バイナリの畳み込みブロックに軽量のショートカットブランチを挿入し、各ブロックの残余を補完する。 Squeeze-and-Interaction (SI) 構造から得られるこのショートカット分岐は、例えば 10 % のオーバーヘッドなどのパラメータをいくつか導入するが、その残余を効果的に補完する。 ImageNetにおける広範囲な実験は、分類効率と精度の両方において、我々の方法の優れた性能を示し、例えば、我々の方法で訓練されたBCNNは、ImageNet上で60.45\%の精度を達成する。

関連論文リスト

• Optimizing data-flow in Binary Neural Networks [0.0]
  本稿では,BNNパイプラインにおけるデータフローと並列性を向上させる新しいトレーニング手法を提案する。 また,ARM命令セットに対するバイナリ直接畳み込みを最適化した実装を提案する。 実験の結果,少なくとも1つの完全精度モデルに対して精度を低下させることなく,推論速度を一貫した改善(最先端の2つのBNNフレームワークと比較して最大1.91と2.73倍)した。
  論文  参考訳（メタデータ） (2023-04-03T13:16:33Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
  本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。 本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。 我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
  論文  参考訳（メタデータ） (2022-10-02T01:54:40Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations [20.218382369944152]
  binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。 本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
  論文  参考訳（メタデータ） (2020-12-22T17:49:30Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks [7.753767947048147]
  バイナリ畳み込みニューラルネットワーク(BCNN)に特化して設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。 提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。 以上の結果から,提案したSoFArは,ショートカット方式のBCNNに比べて精度がよいことがわかった。
  論文  参考訳（メタデータ） (2020-09-11T10:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。