論文の概要: Value-Driven Mixed-Precision Quantization for Patch-Based Inference on Microcontrollers

• arxiv url: http://arxiv.org/abs/2401.13714v1
• Date: Wed, 24 Jan 2024 04:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 16:47:01.092454
• Title: Value-Driven Mixed-Precision Quantization for Patch-Based Inference on Microcontrollers
• Title（参考訳）: マイクロコントローラにおけるパッチベース推論のための値駆動混合精度量子化
• Authors: Wei Tao, Shenglin He, Kai Lu, Xiaoyang Qu, Guokuan Li, Jiguang Wan, Jianzong Wang, Jing Xiao
• Abstract要約: QuantMCUは、値駆動型混合精度量子化を利用して冗長計算を減らす、パッチベースの新しい推論手法である。 我々は,QuantMCUが平均2.2倍の計算量を削減できることを示す。
• 参考スコア（独自算出の注目度）: 35.666772630923234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying neural networks on microcontroller units (MCUs) presents substantial challenges due to their constrained computation and memory resources. Previous researches have explored patch-based inference as a strategy to conserve memory without sacrificing model accuracy. However, this technique suffers from severe redundant computation overhead, leading to a substantial increase in execution latency. A feasible solution to address this issue is mixed-precision quantization, but it faces the challenges of accuracy degradation and a time-consuming search time. In this paper, we propose QuantMCU, a novel patch-based inference method that utilizes value-driven mixed-precision quantization to reduce redundant computation. We first utilize value-driven patch classification (VDPC) to maintain the model accuracy. VDPC classifies patches into two classes based on whether they contain outlier values. For patches containing outlier values, we apply 8-bit quantization to the feature maps on the dataflow branches that follow. In addition, for patches without outlier values, we utilize value-driven quantization search (VDQS) on the feature maps of their following dataflow branches to reduce search time. Specifically, VDQS introduces a novel quantization search metric that takes into account both computation and accuracy, and it employs entropy as an accuracy representation to avoid additional training. VDQS also adopts an iterative approach to determine the bitwidth of each feature map to further accelerate the search process. Experimental results on real-world MCU devices show that QuantMCU can reduce computation by 2.2x on average while maintaining comparable model accuracy compared to the state-of-the-art patch-based inference methods.
• Abstract（参考訳）: マイクロコントローラユニット(mcu)にニューラルネットワークをデプロイすることは、その制約された計算とメモリリソースのために、かなりの課題をもたらす。 これまでの研究で、モデル精度を犠牲にすることなくメモリを保存する戦略としてパッチベースの推論が研究されてきた。 しかし、この手法は厳しい冗長な計算オーバーヘッドに悩まされ、実行遅延が大幅に増加する。 この問題に対処するための実現可能な解決策は混合精度量子化であるが、精度の低下と時間を要する検索時間の問題に直面している。 本稿では,値駆動型混合精度量子化を用いて冗長計算を削減するパッチベースの新しい推論手法QuantMCUを提案する。 まず,モデル精度を維持するためにvdpc(value-driven patch classification)を用いた。 VDPCはパッチを2つのクラスに分類する。 異常値を含むパッチについては、次のdataflowブランチの機能マップに8ビット量子化を適用する。 さらに,外乱値のないパッチに対しては,以下のデータフローブランチの特徴マップに値駆動量子化探索(VDQS)を用いて検索時間を短縮する。 特に、vdqsは計算と精度の両方を考慮した新しい量子化探索メトリックを導入し、追加のトレーニングを避けるためにエントロピーを精度表現として用いる。 VDQSはまた、各特徴マップのビット幅を決定するために反復的なアプローチを採用し、検索プロセスをさらに加速する。 実世界のMCUデバイスでの実験結果から、QuantMCUは、最先端のパッチベースの推論手法と同等のモデル精度を維持しながら、平均2.2倍の計算量を削減できることが示された。

関連論文リスト

• FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
  本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。 整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。 従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
  論文  参考訳（メタデータ） (2023-08-07T04:17:19Z)
• Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning [5.41530201129053]
  本稿では,新しい暗記ベース推論(MBI)を提案する。 具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。 低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。 計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
  論文  参考訳（メタデータ） (2023-07-14T21:01:59Z)
• Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization [7.392278887917975]
  本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。 実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
  論文  参考訳（メタデータ） (2023-06-08T02:18:58Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)
• Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance [50.00102219630088]
  混合精度量子化(MPQ)は各層に対して最適なビット幅を決定するのを難しくする。 本稿では,すべての指標を同時に取得できる共同学習手法を提案する。 例えば、ResNet18上のインデックスによるMPQ検索は、わずか0.06秒しかかからない。
  論文  参考訳（メタデータ） (2022-03-16T03:23:50Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization [45.22093693422085]
  混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。 いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。 混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
  論文  参考訳（メタデータ） (2021-03-04T09:15:08Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。