論文の概要: SPIQ: Data-Free Per-Channel Static Input Quantization

• arxiv url: http://arxiv.org/abs/2203.14642v1
• Date: Mon, 28 Mar 2022 10:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:29:29.760650
• Title: SPIQ: Data-Free Per-Channel Static Input Quantization
• Title（参考訳）: SPIQ: チャネルごとのデータフリー静的入力量子化
• Authors: Edouard Yvinec and Arnaud Dapogny and Matthieu Cord and Kevin Bailly
• Abstract要約: 効率的な推論手法は、機械学習コミュニティで注目を集めている。 本研究では,静的な入力量子化が,チャネルごとの入力量子化方式によって動的手法の精度レベルに達することを論じる。 提案手法はSPIQと呼ばれ、静的な推論速度で動的アプローチに匹敵する精度を実現する。
• 参考スコア（独自算出の注目度）: 37.82255888371488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computationally expensive neural networks are ubiquitous in computer vision and solutions for efficient inference have drawn a growing attention in the machine learning community. Examples of such solutions comprise quantization, i.e. converting the processing values (weights and inputs) from floating point into integers e.g. int8 or int4. Concurrently, the rise of privacy concerns motivated the study of less invasive acceleration methods, such as data-free quantization of pre-trained models weights and activations. Previous approaches either exploit statistical information to deduce scalar ranges and scaling factors for the activations in a static manner, or dynamically adapt this range on-the-fly for each input of each layers (also referred to as activations): the latter generally being more accurate at the expanse of significantly slower inference. In this work, we argue that static input quantization can reach the accuracy levels of dynamic methods by means of a per-channel input quantization scheme that allows one to more finely preserve cross-channel dynamics. We show through a thorough empirical evaluation on multiple computer vision problems (e.g. ImageNet classification, Pascal VOC object detection as well as CityScapes semantic segmentation) that the proposed method, dubbed SPIQ, achieves accuracies rivalling dynamic approaches with static-level inference speed, significantly outperforming state-of-the-art quantization methods on every benchmark.
• Abstract（参考訳）: 計算コストの高いニューラルネットワークはコンピュータビジョンにおいてユビキタスであり、効率的な推論のためのソリューションは機械学習コミュニティで注目を集めている。 そのような解の例としては量子化があり、例えば、演算値(重みと入力)を浮動小数点から整数に変換する。 同時に、プライバシの懸念の高まりは、事前訓練されたモデル重みとアクティベーションのデータフリー量子化のような、侵襲的でない加速方法の研究の動機となった。 以前のアプローチでは、統計情報を利用して、スタティックな方法でアクティベーションのスカラー範囲とスケーリング係数を推測するか、各レイヤの入力(アクティベーションとも呼ばれる)ごとにこの範囲を動的に適応させるかのどちらかであった。 本研究では,静的入力量子化はチャネル単位の入力量子化スキームによって動的手法の精度レベルに到達でき,チャネル間ダイナミクスをより細かく保存できると主張している。 本研究では,複数のコンピュータビジョン問題(例えばイメージネット分類,パスカルVOCオブジェクト検出,およびCityScapesセマンティックセグメンテーション)について,SPIQと呼ばれる提案手法が動的アプローチと静的推論速度に対抗して精度を向上し,各ベンチマークにおける最先端の量子化手法を著しく上回ることを示す。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
  本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。 我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
  論文  参考訳（メタデータ） (2024-09-15T22:44:09Z)
• Compact Multi-Threshold Quantum Information Driven Ansatz For Strongly Interactive Lattice Spin Models [0.0]
  近似量子相互情報(QMI)に基づくアンザッツ建築の体系的手順を提案する。 提案手法は,QMI値に基づいて各層の量子ビット対が選択される層状アンサッツを生成し,より効率的な状態生成と最適化ルーチンを実現する。 その結果,Multi-QIDA法は高い精度を維持しながら計算複雑性を低減し,格子スピンモデルにおける量子シミュレーションに有望なツールであることがわかった。
  論文  参考訳（メタデータ） (2024-08-05T17:07:08Z)
• Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
  変動量子回路(VQC)における重み付けの考え方を紹介する。 我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。 以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T09:42:21Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification [0.0]
  有望なアプローチは量子化であり、完全な精度の値は低ビット幅の精度で保存される。 本稿では、画像分類に焦点をあてて、量子化の概念と方法に関する包括的調査を行う。 本稿では,量子化DNNにおける浮動小数点演算の低コストなビット演算への置き換えと,量子化における異なる層の感度について説明する。
  論文  参考訳（メタデータ） (2022-05-14T15:08:32Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。