論文の概要: IR2Net: Information Restriction and Information Recovery for Accurate Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2210.02637v1
• Date: Thu, 6 Oct 2022 02:03:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 16:46:10.502225
• Title: IR2Net: Information Restriction and Information Recovery for Accurate Binary Neural Networks
• Title（参考訳）: IR2Net:正確なバイナリニューラルネットワークのための情報制限と情報回復
• Authors: Ping Xue, Yang Lu, Jingfei Chang, Xing Wei, Zhen Wei
• Abstract要約: 重みとアクティベーションのバイナライゼーションは、ディープニューラルネットワークを効率よく圧縮し、モデル推論を加速するが、深刻な精度低下を引き起こす。 提案するIR$2$Netは,BNNのポテンシャルを刺激し,入力情報を制限し,特徴情報を復元することでネットワークの精度を向上させる。 実験の結果,ResNet-18 の sim 10x 浮動小数点演算 (FLOPs) の削減でも,本手法は依然として同等の精度を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 24.42067007684169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight and activation binarization can efficiently compress deep neural networks and accelerate model inference, but cause severe accuracy degradation. Existing optimization methods for binary neural networks (BNNs) focus on fitting full-precision networks to reduce quantization errors, and suffer from the trade-off between accuracy and computational complexity. In contrast, considering the limited learning ability and information loss caused by the limited representational capability of BNNs, we propose IR$^2$Net to stimulate the potential of BNNs and improve the network accuracy by restricting the input information and recovering the feature information, including: 1) information restriction: for a BNN, by evaluating the learning ability on the input information, discarding some of the information it cannot focus on, and limiting the amount of input information to match its learning ability; 2) information recovery: due to the information loss in forward propagation, the output feature information of the network is not enough to support accurate classification. By selecting some shallow feature maps with richer information, and fusing them with the final feature maps to recover the feature information. In addition, the computational cost is reduced by streamlining the information recovery method to strike a better trade-off between accuracy and efficiency. Experimental results demonstrate that our approach still achieves comparable accuracy even with $ \sim $10x floating-point operations (FLOPs) reduction for ResNet-18. The models and code are available at https://github.com/pingxue-hfut/IR2Net.
• Abstract（参考訳）: 重みと活性化のバイナリ化はディープニューラルネットワークを効率的に圧縮し、モデル推論を加速するが、深刻な精度低下を引き起こす。 バイナリニューラルネットワーク(bnns)の既存の最適化手法は、量子化エラーを減らすために全精度ネットワークを適合させることに重点を置いており、精度と計算複雑性のトレードオフに苦しめられている。 対照的に,bnnの表現能力の制限による学習能力の制限と情報損失を考慮したir$^2$netを提案し,入力情報を制限し,以下を含む特徴情報を回復することにより,bnnのポテンシャルを刺激し,ネットワーク精度を向上させる。 1)情報制限:BNNは、入力情報に対する学習能力を評価し、集中できない情報の一部を破棄し、学習能力に合わせて入力情報の量を制限する。 2)情報回復:前方伝播における情報損失のため,ネットワークの出力特徴情報は正確な分類を支援するには不十分である。 より豊富な情報を持つ浅い特徴マップを選択し、最後の特徴マップと融合して特徴情報を復元する。 さらに、情報回復法を合理化して計算コストを削減し、精度と効率のトレードオフを改善する。 実験の結果,ResNet-18では,$10倍の浮動小数点演算(FLOP)の削減が図られている。 モデルとコードはhttps://github.com/pingxue-hfut/ir2netで入手できる。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• BiHRNet: A Binary high-resolution network for Human Pose Estimation [11.250422970707415]
  重みとアクティベーションを$pm$1と表現したBiHRNetという2値のポーズ推定器を提案する。 BiHRNetは、バイナリニューラルネットワーク(BNN)を適用することで、少ないコンピューティングリソースを使用しながら、HRNetのキーポイント抽出能力を保っている。 我々は、BiHRNetがMPIIデータセット上で87.9のPCKhを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-17T03:01:37Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。