論文の概要: Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2303.11906v1
• Date: Tue, 21 Mar 2023 14:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 14:39:28.483430
• Title: Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective
• Title（参考訳）: 理論的観点からみた後量子化における振動問題の解法
• Authors: Yuexiao Ma, Huixia Li, Xiawu Zheng, Xuefeng Xiao, Rui Wang, Shilei Wen, Xin Pan, Fei Chao, Rongrong Ji
• Abstract要約: ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。 我々は、PTQ法で見過ごされた振動問題について論じる。
• 参考スコア（独自算出の注目度）: 74.48124653728422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) is widely regarded as one of the most efficient compression methods practically, benefitting from its data privacy and low computation costs. We argue that an overlooked problem of oscillation is in the PTQ methods. In this paper, we take the initiative to explore and present a theoretical proof to explain why such a problem is essential in PTQ. And then, we try to solve this problem by introducing a principled and generalized framework theoretically. In particular, we first formulate the oscillation in PTQ and prove the problem is caused by the difference in module capacity. To this end, we define the module capacity (ModCap) under data-dependent and data-free scenarios, where the differentials between adjacent modules are used to measure the degree of oscillation. The problem is then solved by selecting top-k differentials, in which the corresponding modules are jointly optimized and quantized. Extensive experiments demonstrate that our method successfully reduces the performance drop and is generalized to different neural networks and PTQ methods. For example, with 2/4 bit ResNet-50 quantization, our method surpasses the previous state-of-the-art method by 1.9%. It becomes more significant on small model quantization, e.g. surpasses BRECQ method by 6.61% on MobileNetV2*0.5.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、データプライバシーと計算コストの低さから、事実上最も効率的な圧縮手法の1つである。 我々は、PTQ法で見過ごされた振動問題について論じる。 本稿では,PTQにそのような問題が欠かせない理由を説明するための理論的根拠を探究し,提示する。 そして,原理的かつ一般化された枠組みを理論的に導入することにより,この問題を解決しようとする。 特に,まずptqの振動を定式化し,モジュール容量の差が問題の原因であることを証明した。 この目的のために、モジュール容量(modcap)をデータ依存およびデータフリーのシナリオで定義し、隣接するモジュール間の差を使って振動の程度を測定する。 この問題は、対応するモジュールを共同最適化して量子化するトップk微分を選択することで解決される。 広汎な実験により,本手法は性能低下を低減し,異なるニューラルネットワークやPTQ手法に一般化された。 例えば、2/4ビットResNet-50量子化では、従来の最先端手法を1.9%上回る。 例えば、MobileNetV2*0.5ではBRECQ法を6.61%上回っている。

関連論文リスト

• Efficient variational quantum eigensolver methodologies on quantum processors [4.192048933715544]
  適応型, テトリス適応型変分量子固有解器(VQE)とエンタングルメント鍛造を実装し, 計算資源の要求を低減した。 本研究は, ノイズ量子ハードウェアにおけるVQEの有用性を実証し, 大分子に対するVQE関連手法の活用の道を開くものである。
  論文  参考訳（メタデータ） (2024-07-23T00:38:34Z)
• Efficient molecular conformation generation with quantum-inspired algorithm [4.625636280559916]
  本稿では,分子展開(MU)問題の解法として量子インスパイアされたアルゴリズムを提案する。 我々のアプローチによって決定されたコンフォメーションと密度汎関数理論(DFT)の根平均二乗偏差は無視できる。 その結果,量子ハードウェアが成熟する以前にも,現実的な問題を解決するために量子インスパイアされたアルゴリズムを適用できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-22T11:40:08Z)
• Improving Parameter Training for VQEs by Sequential Hamiltonian Assembly [4.646930308096446]
  量子機械学習における中心的な課題は、パラメータ化量子回路(PQC)の設計と訓練である。 局所成分を用いて損失関数を反復的に近似する逐次ハミルトンアセンブリを提案する。 提案手法は,従来のパラメータトレーニングを29.99%,実証的手法であるレイヤワイズラーニングを5.12%,平均精度を5.12%向上させる。
  論文  参考訳（メタデータ） (2023-12-09T11:47:32Z)
• Pre-optimizing variational quantum eigensolvers with tensor networks [1.4512477254432858]
  VQEをシミュレートすることで、パラメータ化量子回路のよい開始パラメータを求める手法を提示し、ベンチマークする。 最大32キュービットのシステムサイズを持つ1Dと2DのFermi-Hubbardモデルに適用する。 2Dでは、VTNEが検出するパラメータは開始構成よりもはるかに低いエネルギーであり、これらのパラメータから開始するVQEは、与えられたエネルギーに降り着くためには、自明に少ない演算を必要とすることを示す。
  論文  参考訳（メタデータ） (2023-10-19T17:57:58Z)
• Wasserstein Quantum Monte Carlo: A Novel Approach for Solving the Quantum Many-Body Schr\"odinger Equation [56.9919517199927]
  ワーッセルシュタイン量子モンテカルロ (WQMC) はフィッシャー・ラオ計量ではなくワーッセルシュタイン計量によって誘導される勾配流を用いており、テレポートではなく確率質量の輸送に対応する。 我々は、WQMCの力学が分子系の基底状態へのより高速な収束をもたらすことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-06T17:54:08Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance [53.45700148820669]
  ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。 その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。 そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
  論文  参考訳（メタデータ） (2023-03-23T02:55:50Z)
• End-to-end resource analysis for quantum interior point methods and portfolio optimization [63.4863637315163]
  問題入力から問題出力までの完全な量子回路レベルのアルゴリズム記述を提供する。 アルゴリズムの実行に必要な論理量子ビットの数と非クリフォードTゲートの量/深さを報告する。
  論文  参考訳（メタデータ） (2022-11-22T18:54:48Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)
• Efficient experimental characterization of quantum processes via compressed sensing on an NMR quantum processor [4.291616110077346]
  我々は、NMR量子プロセッサ上で真の量子プロセストモグラフィ(QPT)を実験的に実行するために、圧縮センシング(CS)アルゴリズムと、大幅に削減されたデータセットを用いる。 各種2量子および3量子ビット量子ゲートに対応するプロセス行列 $chi$ の推定値を得る。 また,3キュービットシステムに埋め込まれた2キュービットサブシステムの動的特性の低減を実験的に評価した。
  論文  参考訳（メタデータ） (2021-09-27T17:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。