論文の概要: HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs

• arxiv url: http://arxiv.org/abs/2007.09952v1
• Date: Mon, 20 Jul 2020 09:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 10:10:23.819421
• Title: HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs
• Title（参考訳）: HMQ: CNN用のハードウェアフレンドリーな精密量子化ブロック
• Authors: Hai Victor Habi, Roy H. Jennings, Arnon Netzer
• Abstract要約: ハードウェアフレンドリー混合精密量子化ブロック(HMQ)について紹介する。 HMQは、Gumbel-Softmax推定器を2組の量子化パラメータの滑らかな推定器に再利用する混合精密量子化ブロックである。 CIFAR10とImageNetで訓練された分類モデルの定量化にHMQを適用する。
• 参考スコア（独自算出の注目度）: 7.219077740523684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in network quantization produced state-of-the-art results using mixed precision quantization. An imperative requirement for many efficient edge device hardware implementations is that their quantizers are uniform and with power-of-two thresholds. In this work, we introduce the Hardware Friendly Mixed Precision Quantization Block (HMQ) in order to meet this requirement. The HMQ is a mixed precision quantization block that repurposes the Gumbel-Softmax estimator into a smooth estimator of a pair of quantization parameters, namely, bit-width and threshold. HMQs use this to search over a finite space of quantization schemes. Empirically, we apply HMQs to quantize classification models trained on CIFAR10 and ImageNet. For ImageNet, we quantize four different architectures and show that, in spite of the added restrictions to our quantization scheme, we achieve competitive and, in some cases, state-of-the-art results.
• Abstract（参考訳）: 最近のネットワーク量子化の研究は、混合精度量子化を用いた最先端の結果を生み出した。 多くの効率的なエッジデバイスハードウェア実装の必須要件は、量子化器が均一であり、2つのしきい値を持つことである。 本稿では,この要件を満たすために,ハードウェアフレンドリな混合精度量子化ブロック(hmq)を導入する。 hmqは、gumbel-softmax推定器をビット幅としきい値という2つの量子化パラメータの滑らかな推定器に再利用する混合精度量子化ブロックである。 HMQ はこれを使って量子化スキームの有限空間を探索する。 CIFAR10 と ImageNet で訓練された分類モデルの定量化に HMQ を適用する。 ImageNetでは、4つの異なるアーキテクチャを定量化し、量子化スキームに制限を加えたにもかかわらず、競争力があり、場合によっては最先端の結果が得られることを示す。

関連論文リスト

• Quantum Deep Equilibrium Models [1.5853439776721878]
  本稿では,量子機械学習モデルのパラメータを学習するトレーニングパラダイムであるQuantum Deep Equilibrium Models (QDEQ)を紹介する。 QDEQは、既存の同等のベースラインモデルと競合するだけでなく、5倍以上のレイヤを持つネットワークよりも高いパフォーマンスを実現している。 このことは、QDEQパラダイムが与えられたタスクに対してより浅い量子回路を開発するのに利用できることを示している。
  論文  参考訳（メタデータ） (2024-10-31T13:54:37Z)
• Adaptive quantization with mixed-precision based on low-cost proxy [8.527626602939105]
  本稿では,Low-Cost Proxy-Based Adaptive Mixed-Precision Model Quantization (LCPAQ) と呼ばれる新しいモデル量子化法を提案する。 ハードウェア対応モジュールはハードウェアの制約を考慮して設計され、適応型混合精度量子化モジュールは量子化感度を評価するために開発された。 ImageNetの実験では、提案したLCPAQが既存の混合精度モデルに匹敵するあるいは優れた量子化精度を達成している。
  論文  参考訳（メタデータ） (2024-02-27T17:36:01Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search [7.564770908909927]
  量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術である ラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。 我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-29T15:49:54Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Modular Quantization-Aware Training for 6D Object Pose Estimation [52.9436648014338]
  エッジアプリケーションは、リソース制約された組み込みプラットフォーム上で効率的な6Dオブジェクトのポーズ推定を要求する。 本稿では,適応的かつ高精度な量子化学習戦略であるMQAT(Modular Quantization-Aware Training)を紹介する。 MQATは、モジュール固有のビット精度を導出し、モジュール固有の量子化シーケンスを導出し、最先端の均一および混合精度の量子化技術によって生成されたものより優れた量子化モデルをもたらす。
  論文  参考訳（メタデータ） (2023-03-12T21:01:54Z)
• HPTQ: Hardware-Friendly Post Training Quantization [6.515659231669797]
  ハードウェアフレンドリーなポストトレーニング量子化(HPTQ)フレームワークを導入する。 分類,オブジェクト検出,セマンティックセグメンテーション,ポーズ推定の4つのタスクについて大規模な研究を行う。 ハードウェアフレンドリーな制約の下で競争結果が得られることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-09-19T12:45:01Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。