Fugu-MT 論文翻訳(概要): Physics Inspired Criterion for Pruning-Quantization Joint Learning

論文の概要: Physics Inspired Criterion for Pruning-Quantization Joint Learning

arxiv url: http://arxiv.org/abs/2312.00851v2
Date: Tue, 4 Jun 2024 07:34:05 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 13:47:23.478958
Title: Physics Inspired Criterion for Pruning-Quantization Joint Learning
Title（参考訳）: Pruning-Quantizationジョイントラーニングのための物理インスピレーションによる基準
Authors: Weiying Xie, Xiaoyi Fan, Xin Zhang, Yunsong Li, Jie Lei, Leyuan Fang,
Abstract要約: PIC-PQ(Pruning-quantization Joint Learning)のための新しい物理基準を提案する。物理インスパイアされた基準(PIC)における学習可能なスケール変形によるフィルタの重要度分布とフィルタ特性(FP)の線形関係を確立する。画像分類のベンチマーク実験により、PIC-PQは精度とビット演算(BOP)圧縮比の良好なトレードオフをもたらすことが示された。
参考スコア（独自算出の注目度）: 30.437300158693795
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pruning-quantization joint learning always facilitates the deployment of deep neural networks (DNNs) on resource-constrained edge devices. However, most existing methods do not jointly learn a global criterion for pruning and quantization in an interpretable way. In this paper, we propose a novel physics inspired criterion for pruning-quantization joint learning (PIC-PQ), which is explored from an analogy we first draw between elasticity dynamics (ED) and model compression (MC). Specifically, derived from Hooke's law in ED, we establish a linear relationship between the filters' importance distribution and the filter property (FP) by a learnable deformation scale in the physics inspired criterion (PIC). Furthermore, we extend PIC with a relative shift variable for a global view. To ensure feasibility and flexibility, available maximum bitwidth and penalty factor are introduced in quantization bitwidth assignment. Experiments on benchmarks of image classification demonstrate that PIC-PQ yields a good trade-off between accuracy and bit-operations (BOPs) compression ratio e.g., 54.96X BOPs compression ratio in ResNet56 on CIFAR10 with 0.10% accuracy drop and 53.24X in ResNet18 on ImageNet with 0.61% accuracy drop). The code will be available at https://github.com/fanxxxxyi/PIC-PQ.
Abstract（参考訳）: Pruning-quantization joint learningは、リソース制約されたエッジデバイスへのディープニューラルネットワーク(DNN)のデプロイを容易にする。しかし、既存のほとんどの手法は、解釈可能な方法でプルーニングと量子化のグローバルな基準を共同で学習するわけではない。本稿では, 弾性力学 (ED) とモデル圧縮 (MC) の類似性から探索した, プルーニング量子化連成学習(PIC-PQ)の物理に着想を得た新しい基準を提案する。具体的には、EDにおけるフックの法則から導かれ、物理インスパイアされた基準(PIC)における学習可能な変形スケールによるフィルタの重要度分布とフィルタ特性(FP)の線形関係を確立する。さらに,PICをグローバルビューに対して相対シフト変数で拡張する。実現可能性と柔軟性を確保するため、量子化ビット幅割り当てに利用可能な最大ビット幅とペナルティ係数を導入する。画像分類のベンチマーク実験では、PIC-PQは、CIFAR10上のResNet56の圧縮比eg、54.96X BOPsの圧縮比0.10%の精度低下、ImageNet18上のResNet18の53.24Xの圧縮比0.61%の精度低下を示す。コードはhttps://github.com/fanxxxxyi/PIC-PQ.comで入手できる。

関連論文リスト

Development of a Novel Quantum Pre-processing Filter to Improve Image Classification Accuracy of Neural Network Models [1.2965700352825555]
本稿では,ニューラルネットワーク(NN)モデルの画像分類精度を向上させるために,新しい量子前処理フィルタ(QPF)を提案する。その結果,MNIST (手書き10桁) とEMNIST (手書き47桁と文字) のデータセットに基づく画像分類精度を向上させることができた。しかし,43種類の実生活交通標識画像を用いた比較的複雑なGTSRBデータセットに対するQPF手法による検証の結果,分類精度の低下が認められた。
論文参考訳（メタデータ） (2023-08-22T01:27:04Z)
Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-09-26T22:22:30Z)
SPIN: An Empirical Evaluation on Sharing Parameters of Isotropic Networks [25.465917853812538]
等方性ネットワークにおけるパラメータ共有手法に関する実験的検討を行った。本稿では,全体効率のよいモデル群を生成するための重み共有戦略を提案する。
論文参考訳（メタデータ） (2022-07-21T00:16:05Z)
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
論文参考訳（メタデータ） (2022-05-23T09:05:25Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文参考訳（メタデータ） (2021-07-14T18:07:38Z)
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文参考訳（メタデータ） (2021-05-26T17:01:52Z)
Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
ニューラルネットワークモデルのイントレーニング量子化手法を提案する。本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
論文参考訳（メタデータ） (2021-01-12T09:01:44Z)
Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。 CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文参考訳（メタデータ） (2020-05-18T19:06:14Z)
Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
論文参考訳（メタデータ） (2020-04-15T20:10:53Z)
Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。