論文の概要: DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization

• arxiv url: http://arxiv.org/abs/2208.09708v3
• Date: Tue, 24 Oct 2023 16:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 03:39:27.903185
• Title: DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization
• Title（参考訳）: DenseShift: 高精度で効率的な2ビットの量子化を目指す
• Authors: Xinlin Li, Bang Liu, Rui Heng Yang, Vanessa Courville, Chao Xing, Vahid Partovi Nia
• Abstract要約: 本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 27.231327287238102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently deploying deep neural networks on low-resource edge devices is challenging due to their ever-increasing resource requirements. To address this issue, researchers have proposed multiplication-free neural networks, such as Power-of-Two quantization, or also known as Shift networks, which aim to reduce memory usage and simplify computation. However, existing low-bit Shift networks are not as accurate as their full-precision counterparts, typically suffering from limited weight range encoding schemes and quantization loss. In this paper, we propose the DenseShift network, which significantly improves the accuracy of Shift networks, achieving competitive performance to full-precision networks for vision and speech applications. In addition, we introduce a method to deploy an efficient DenseShift network using non-quantized floating-point activations, while obtaining 1.6X speed-up over existing methods. To achieve this, we demonstrate that zero-weight values in low-bit Shift networks do not contribute to model capacity and negatively impact inference computation. To address this issue, we propose a zero-free shifting mechanism that simplifies inference and increases model capacity. We further propose a sign-scale decomposition design to enhance training efficiency and a low-variance random initialization strategy to improve the model's transfer learning performance. Our extensive experiments on various computer vision and speech tasks demonstrate that DenseShift outperforms existing low-bit multiplication-free networks and achieves competitive performance compared to full-precision networks. Furthermore, our proposed approach exhibits strong transfer learning performance without a drop in accuracy. Our code was released on GitHub.
• Abstract（参考訳）: 低リソースのエッジデバイスにディープニューラルネットワークを効率的にデプロイするのは、リソース要件の増大が原因で難しい。 この問題に対処するため、研究者は2つの量子化のパワーや、メモリ使用量の削減と計算の簡素化を目的としたシフトネットワークなど、乗算フリーなニューラルネットワークを提案している。 しかし、既存の低ビットシフトネットワークはフル精度のネットワークほど正確ではなく、通常は制限されたウェイトレンジ符号化スキームと量子化損失に悩まされている。 本稿では,シフトネットワークの精度を大幅に向上し,視覚・音声アプリケーションのための全精度ネットワークと競合する性能を実現する高密度シフトネットワークを提案する。 さらに,非量子化浮動小数点アクティベーションを用いた効率的なDenseShiftネットワークのデプロイ手法を導入し,既存手法の1.6倍の高速化を実現した。 これを実現するために,低ビットシフトネットワークにおけるゼロウェイト値がモデルのキャパシティに寄与せず,推論計算に悪影響を及ぼすことを実証する。 そこで本研究では,モデルキャパシティの向上と推論を簡略化するゼロフリーシフト機構を提案する。 さらに,学習効率を向上させるための符号スケール分解設計と,モデルの伝達学習性能を向上させるための低分散ランダム初期化戦略を提案する。 様々なコンピュータビジョンおよび音声タスクに関する広範な実験により,高密度シフトは既存の低ビット乗算フリーネットワークよりも優れており,全精度ネットワークに比べて競争性能が向上することが示された。 さらに,提案手法は,精度を低下させることなく強い転送学習性能を示す。 私たちのコードはGitHubでリリースされました。

関連論文リスト

• Learning Discrete Weights and Activations Using the Local Reparameterization Trick [21.563618480463067]
  コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。 ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。 これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
  論文  参考訳（メタデータ） (2023-07-04T12:27:10Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Self-Compression in Bayesian Neural Networks [0.9176056742068814]
  ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。 ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。 実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T21:19:40Z)
• $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks [41.54155265996312]
  シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。 提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-07T19:33:02Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。