Fugu-MT 論文翻訳(概要): Automatic low-bit hybrid quantization of neural networks through meta learning

論文の概要: Automatic low-bit hybrid quantization of neural networks through meta learning

arxiv url: http://arxiv.org/abs/2004.11506v1
Date: Fri, 24 Apr 2020 02:01:26 GMT
ステータス: 処理完了
システム内更新日: 2022-12-10 02:49:47.725646
Title: Automatic low-bit hybrid quantization of neural networks through meta learning
Title（参考訳）: メタ学習によるニューラルネットワークの自動低ビットハイブリッド量子化
Authors: Tao Wang, Junsong Wang, Chang Xu and Chao Xue
Abstract要約: メタ学習法を用いて,ニューラルネットワークの低ビットハイブリッド量子化を自動生成する。 MetaQuantNetは量子化関数とともに、ターゲットDNNの量子化重みを生成するために訓練される。最良探索量子化ポリシーにより、量子化されたターゲットネットワークの性能をさらに向上させるために、その後再訓練または微調整を行う。
参考スコア（独自算出の注目度）: 22.81983466720024
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference, especially when deploying to edge or IoT devices with limited computation capacity and power consumption budget. The uniform bit width quantization across all the layers is usually sub-optimal and the exploration of hybrid quantization for different layers is vital for efficient deep compression. In this paper, we employ the meta learning method to automatically realize low-bit hybrid quantization of neural networks. A MetaQuantNet, together with a Quantization function, are trained to generate the quantized weights for the target DNN. Then, we apply a genetic algorithm to search the best hybrid quantization policy that meets compression constraints. With the best searched quantization policy, we subsequently retrain or finetune to further improve the performance of the quantized target network. Extensive experiments demonstrate the performance of searched hybrid quantization scheme surpass that of uniform bitwidth counterpart. Compared to the existing reinforcement learning (RL) based hybrid quantization search approach that relies on tedious explorations, our meta learning approach is more efficient and effective for any compression requirements since the MetaQuantNet only needs be trained once.
Abstract（参考訳）: モデル量子化(model quantization)は、ディープニューラルネットワーク(dnn)推論を圧縮し、加速するための広く使用されるテクニックである。すべての層にまたがる均一なビット幅量子化は通常最適であり、異なる層に対するハイブリッド量子化の探索は効率的な深部圧縮に不可欠である。本稿では,ニューラルネットワークの低ビットハイブリッド量子化を自動実現するためのメタ学習手法を提案する。 MetaQuantNetは量子化関数とともに、ターゲットDNNの量子化重みを生成するために訓練される。次に,圧縮制約を満たす最適なハイブリッド量子化ポリシーの探索に遺伝的アルゴリズムを適用した。最良探索量子化ポリシーにより、量子化されたターゲットネットワークの性能をさらに向上させるために、再訓練または微調整を行う。広範な実験により、探索されたハイブリッド量子化スキームが、一様ビット幅法を上回る性能を示す。既存の強化学習(RL)ベースのハイブリッド量子化探索手法と比較して,メタ学習アプローチは,MetaQuantNetを一度だけトレーニングする必要があるため,圧縮要求に対してより効率的かつ効果的である。

関連論文リスト

A generic and robust quantum agent inspired by deep meta-reinforcement learning [4.881040823544883]
深部メタ強化学習(深部メタRL)にヒントを得た新しいトレーニングアルゴリズムを開発する。トレーニングされたニューラルネットワークは適応的で堅牢である。また,ターゲットゲート生成に必要なパルス数を自動的に調整できる。
論文参考訳（メタデータ） (2024-06-11T13:04:30Z)
A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
論文参考訳（メタデータ） (2024-02-23T14:09:41Z)
Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文参考訳（メタデータ） (2023-08-08T21:38:02Z)
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文参考訳（メタデータ） (2022-11-29T13:32:38Z)
Quantum Robustness Verification: A Hybrid Quantum-Classical Neural Network Certification Algorithm [1.439946676159516]
本研究では、堅牢性多変数混合整数プログラム(MIP)の解法を含むReLUネットワークの検証について検討する。この問題を軽減するために、ニューラルネットワーク検証にQCを用い、証明可能な証明書を計算するためのハイブリッド量子プロシージャを導入することを提案する。シミュレーション環境では,我々の証明は健全であり,問題の近似に必要な最小量子ビット数に制限を与える。
論文参考訳（メタデータ） (2022-05-02T13:23:56Z)
Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
論文参考訳（メタデータ） (2022-04-18T21:45:13Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。重みの多様性を高めるためにウェーブレット分解と再構成を用いる。同じ精度で訓練された専用モデルに匹敵する精度が得られる。
論文参考訳（メタデータ） (2021-05-04T08:10:50Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。