論文の概要: Quantized Feature Distillation for Network Quantization

• arxiv url: http://arxiv.org/abs/2307.10638v1
• Date: Thu, 20 Jul 2023 07:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 14:20:38.986205
• Title: Quantized Feature Distillation for Network Quantization
• Title（参考訳）: ネットワーク量子化のための量子化特徴蒸留
• Authors: Ke Zhu and Yin-Yin He and Jianxin Wu
• Abstract要約: 量子化対応トレーニング(QAT)パラダイムを採用する手法は最近急速に成長しているが、概念的には複雑であることが多い。 本稿では,新しい高効率QAT法,量子化特徴蒸留(QFD)を提案する。 QFDはまず教師として量子化された(または二項化された)表現を訓練し、その後知識蒸留(KD)を用いてネットワークを定量化する。
• 参考スコア（独自算出の注目度）: 32.26577845735846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network quantization aims to accelerate and trim full-precision neural network models by using low bit approximations. Methods adopting the quantization aware training (QAT) paradigm have recently seen a rapid growth, but are often conceptually complicated. This paper proposes a novel and highly effective QAT method, quantized feature distillation (QFD). QFD first trains a quantized (or binarized) representation as the teacher, then quantize the network using knowledge distillation (KD). Quantitative results show that QFD is more flexible and effective (i.e., quantization friendly) than previous quantization methods. QFD surpasses existing methods by a noticeable margin on not only image classification but also object detection, albeit being much simpler. Furthermore, QFD quantizes ViT and Swin-Transformer on MS-COCO detection and segmentation, which verifies its potential in real world deployment. To the best of our knowledge, this is the first time that vision transformers have been quantized in object detection and image segmentation tasks.
• Abstract（参考訳）: ニューラルネットワーク量子化は、低ビット近似を用いて、完全精度のニューラルネットワークモデルを加速し、トリムすることを目的としている。 量子化認識トレーニング(qat)パラダイムを採用する手法は最近急速に成長しているが、概念的には複雑であることが多い。 本稿では,新しい高効率qat法である量子化特徴蒸留(qfd)を提案する。 QFDはまず教師として量子化された(または二項化された)表現を訓練し、その後知識蒸留(KD)を用いてネットワークを定量化する。 定量的結果は、QFDが従来の量子化法よりも柔軟で効果的であることを示している。 QFDは、画像分類だけでなく、オブジェクト検出においても、既存の手法をはるかに上回ります。 さらに、QFDは、MS-COCOの検出とセグメンテーションに基づいてViTとSwin-Transformerを定量化し、実世界の展開におけるその可能性を検証する。 我々の知る限りでは、視覚変換器が物体検出や画像分割タスクで定量化されたのはこれが初めてである。

関連論文リスト

• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
  本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。 既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。 1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
  論文  参考訳（メタデータ） (2022-07-13T08:52:13Z)
• A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification [0.0]
  有望なアプローチは量子化であり、完全な精度の値は低ビット幅の精度で保存される。 本稿では、画像分類に焦点をあてて、量子化の概念と方法に関する包括的調査を行う。 本稿では,量子化DNNにおける浮動小数点演算の低コストなビット演算への置き換えと,量子化における異なる層の感度について説明する。
  論文  参考訳（メタデータ） (2022-05-14T15:08:32Z)
• Toward Physically Realizable Quantum Neural Networks [15.018259942339446]
  量子ニューラルネットワーク(QNN)の現在のソリューションは、スケーラビリティに関する課題を提起している。 QNNの指数的状態空間は、トレーニング手順のスケーラビリティに課題をもたらす。 本稿では量子パーセプトロンの転送関数の帯域制限フーリエ展開に依存するQNNの新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-22T23:03:32Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Post-Training Quantization for Vision Transformer [85.57953732941101]
  本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。 約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
  論文  参考訳（メタデータ） (2021-06-27T06:27:22Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)
• Optimal Quantization for Batch Normalization in Neural Network Deployments and Beyond [18.14282813812512]
  バッチ正規化(BN)が量子ニューラルネットワーク(QNN)に挑戦 本稿では、2つの浮動小数点のアフィン変換を共有量子化スケールで固定点演算に変換することによりBNを定量化する新しい方法を提案する。 提案手法は,CIFARおよびImageNetデータセット上の層レベルでの実験により検証される。
  論文  参考訳（メタデータ） (2020-08-30T09:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。