論文の概要: Towards Mixed-Precision Quantization of Neural Networks via Constrained Optimization

• arxiv url: http://arxiv.org/abs/2110.06554v1
• Date: Wed, 13 Oct 2021 08:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 14:57:15.354026
• Title: Towards Mixed-Precision Quantization of Neural Networks via Constrained Optimization
• Title（参考訳）: 制約付き最適化によるニューラルネットワークの混合精度量子化に向けて
• Authors: Weihan Chen, Peisong Wang, Jian Cheng
• Abstract要約: 本稿では,混合精度量子化問題を解くための原理的枠組みを提案する。 提案手法は原理的手法で導出され,より計算効率がよいことを示す。
• 参考スコア（独自算出の注目度）: 28.76708310896311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization is a widely used technique to compress and accelerate deep neural networks. However, conventional quantization methods use the same bit-width for all (or most of) the layers, which often suffer significant accuracy degradation in the ultra-low precision regime and ignore the fact that emergent hardware accelerators begin to support mixed-precision computation. Consequently, we present a novel and principled framework to solve the mixed-precision quantization problem in this paper. Briefly speaking, we first formulate the mixed-precision quantization as a discrete constrained optimization problem. Then, to make the optimization tractable, we approximate the objective function with second-order Taylor expansion and propose an efficient approach to compute its Hessian matrix. Finally, based on the above simplification, we show that the original problem can be reformulated as a Multiple-Choice Knapsack Problem (MCKP) and propose a greedy search algorithm to solve it efficiently. Compared with existing mixed-precision quantization works, our method is derived in a principled way and much more computationally efficient. Moreover, extensive experiments conducted on the ImageNet dataset and various kinds of network architectures also demonstrate its superiority over existing uniform and mixed-precision quantization approaches.
• Abstract（参考訳）: 量子化はディープニューラルネットワークの圧縮と高速化に広く用いられている技術である。 しかし、従来の量子化法では、全ての層(またはほとんどの層)に同じビット幅を使用するため、超低精度のシステムでは精度が著しく低下し、創発的ハードウェアアクセラレータが混合精度計算をサポートし始めるという事実を無視することが多い。 そこで本論文では,混合精度量子化問題を解くための新しい原理的枠組みを提案する。 簡単に言えば、まず混合精度量子化を離散制約最適化問題として定式化する。 そこで,最適化を抽出可能にするために,目的関数を2階テイラー展開と近似し,ヘッセン行列の効率的な計算法を提案する。 最後に,上記の単純化に基づき,mckp問題(multiple-choice knapsack problem)として元の問題を再構成し,効率的に解くための欲望探索アルゴリズムを提案する。 従来の混合精度量子化法と比較すると,本手法は原理的に導出され,より計算効率がよい。 さらに、ImageNetデータセットと各種ネットワークアーキテクチャに対して行われた広範な実験は、既存の均一および混合精度量子化アプローチよりも優れていることを示す。

関連論文リスト

• A Primal-dual algorithm for image reconstruction with ICNNs [3.4797100095791706]
  我々は、正規化器が入力ニューラルネットワーク(ICNN)によってパラメータ化されるデータ駆動変分フレームワークにおける最適化問題に対処する。 勾配に基づく手法はそのような問題を解決するのに一般的に用いられるが、非滑らかさを効果的に扱うのに苦労する。 提案手法は, 速度と安定性の両方の観点から, 下位段階の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T10:36:29Z)
• A coherent approach to quantum-classical optimization [0.0]
  ハイブリッド量子古典最適化技術は、量子計算資源の削減を可能にすることが示されている。 我々は、コヒーレンスエントロピーを量子状態の適合性を決定する重要な指標とみなす。 本稿では,従来の課題に対するアプローチを大幅に改善する量子古典最適化プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-09-20T22:22:53Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• Finite-Bit Quantization For Distributed Algorithms With Linear Convergence [6.293059137498172]
  量子化された通信対象のメッシュネットワーク上での(強い凸)複合最適化問題に対する分散アルゴリズムについて検討する。 通信効率のよい符号化方式と結合した新しい量子化器を提案し, バイアス圧縮(BC-)ルールを効率的に実装した。 数値計算により,提案手法を応用した分散アルゴリズムは,既存の量子化規則を用いたアルゴリズムよりも,通信の複雑さが高いことが示された。
  論文  参考訳（メタデータ） (2021-07-23T15:31:31Z)
• Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
  マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。 その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
  論文  参考訳（メタデータ） (2021-06-24T20:16:02Z)
• Quantized Proximal Averaging Network for Analysis Sparse Coding [23.080395291046408]
  反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。 圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
  論文  参考訳（メタデータ） (2021-05-13T12:05:35Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
  QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。 このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。 本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-11T13:52:41Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。