論文の概要: PowerQuant: Automorphism Search for Non-Uniform Quantization
- arxiv url: http://arxiv.org/abs/2301.09858v1
- Date: Tue, 24 Jan 2023 08:30:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 14:09:30.351670
- Title: PowerQuant: Automorphism Search for Non-Uniform Quantization
- Title（参考訳）: powerquant: 非一様量子化に対する自己同型探索
- Authors: Edouard Yvinec, Arnaud Dapogny, Matthieu Cord, Kevin Bailly
- Abstract要約: 我々は、量子化演算子の均一性を既存のアプローチの制限として同定し、データフリーな非一様法を提案する。
我々は、PowerQuantと呼ばれる我々の手法は、量子化されたDNNアクティベーション関数の単純な修正しか必要としないことを示した。
- 参考スコア（独自算出の注目度）: 37.82255888371488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) are nowadays ubiquitous in many domains such as
computer vision. However, due to their high latency, the deployment of DNNs
hinges on the development of compression techniques such as quantization which
consists in lowering the number of bits used to encode the weights and
activations. Growing concerns for privacy and security have motivated the
development of data-free techniques, at the expanse of accuracy. In this paper,
we identity the uniformity of the quantization operator as a limitation of
existing approaches, and propose a data-free non-uniform method. More
specifically, we argue that to be readily usable without dedicated hardware and
implementation, non-uniform quantization shall not change the nature of the
mathematical operations performed by the DNN. This leads to search among the
continuous automorphisms of $(\mathbb{R}_+^*,\times)$, which boils down to the
power functions defined by their exponent. To find this parameter, we propose
to optimize the reconstruction error of each layer: in particular, we show that
this procedure is locally convex and admits a unique solution. At inference
time, we show that our approach, dubbed PowerQuant, only require simple
modifications in the quantized DNN activation functions. As such, with only
negligible overhead, it significantly outperforms existing methods in a variety
of configurations.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は現在、コンピュータビジョンなどの多くの領域で広く使われている。
しかし、その高いレイテンシのため、dnnの配置は、重みとアクティベーションをエンコードするビット数を減少させる量子化のような圧縮技術の開発にかかっている。
プライバシとセキュリティに対する懸念が高まり、精度が拡大して、データフリーな技術の開発が動機になっている。
本稿では,既存の手法の限界として量子化演算子の均一性を同一視し,データフリーな非一様法を提案する。
より具体的には、専用ハードウェアと実装がなければ、非一様量子化はdnnが行う数学的操作の性質を変えるものではないと論じている。
これにより、$(\mathbb{R}_+^*,\times)$ の連続自己同型が探索され、指数関数によって定義されるパワー関数に沸騰する。
このパラメータを求めるために,各層の再構成誤差を最適化する手法を提案する。
推定時には、PowerQuantと呼ばれる我々の手法は、量子化されたDNNアクティベーション関数の単純な修正しか必要としないことを示す。
そのため、無視できるオーバーヘッドだけで、様々な構成で既存のメソッドよりも大幅に優れています。
関連論文リスト
- Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。
我々はこれらの不変カーネルの最大情報ゲインを導出する。
核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
論文 参考訳（メタデータ） (2024-10-22T12:51:46Z) - Non-Unitary Quantum Machine Learning [0.0]
量子機械学習における通常のユニタリ制約を克服する確率的量子アルゴリズムをいくつか導入する。
また, 変分アンサッツ層間の残差は, それらを含むモデルにおける不規則な台地を防止できることが示唆された。
また、Schur-Weyl双対性による点雲データに対する新たな回転不変符号化を実証する。
論文 参考訳（メタデータ） (2024-05-27T17:42:02Z) - NUPES : Non-Uniform Post-Training Quantization via Power Exponent Search [7.971065005161565]
量子化は浮動小数点表現を低ビット幅の固定点表現に変換する技術である。
量子化空間全体にわたって新しい量子化重みを学習する方法を示す。
本研究では,データフリーとデータ駆動の両構成において,最先端の圧縮率を実現する手法の有効性を示す。
論文 参考訳（メタデータ） (2023-08-10T14:19:58Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-01-21T04:08:46Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳（メタデータ） (2022-11-16T18:59:54Z) - A Comprehensive Survey on Model Quantization for Deep Neural Networks in
Image Classification [0.0]
有望なアプローチは量子化であり、完全な精度の値は低ビット幅の精度で保存される。
本稿では、画像分類に焦点をあてて、量子化の概念と方法に関する包括的調査を行う。
本稿では,量子化DNNにおける浮動小数点演算の低コストなビット演算への置き換えと,量子化における異なる層の感度について説明する。
論文 参考訳（メタデータ） (2022-05-14T15:08:32Z) - Understanding and Overcoming the Challenges of Efficient Transformer
Quantization [17.05322956052278]
トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。
しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。
変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
論文 参考訳（メタデータ） (2021-09-27T10:57:18Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。