論文の概要: Differentiable Search for Finding Optimal Quantization Strategy

• arxiv url: http://arxiv.org/abs/2404.08010v1
• Date: Wed, 10 Apr 2024 03:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:54:09.360147
• Title: Differentiable Search for Finding Optimal Quantization Strategy
• Title（参考訳）: 最適量子化戦略探索のための微分可能探索法
• Authors: Lianqiang Li, Chenqian Yan, Yefei Chen,
• Abstract要約: 本稿では,各層に対して最適な量子化戦略を割り当てるために,微分可能な量子化戦略探索(DQSS)を提案する。 学習後量子化のためのDQSSを実行し、その性能を完全精度モデルで比較できるようにします。 また、DQSSの有効性をさらに検証するために、量子化対応トレーニングにもDQSSを使用します。
• 参考スコア（独自算出の注目度）: 3.295889768579819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accelerate and compress deep neural networks (DNNs), many network quantization algorithms have been proposed. Although the quantization strategy of any algorithm from the state-of-the-arts may outperform others in some network architectures, it is hard to prove the strategy is always better than others, and even cannot judge that the strategy is always the best choice for all layers in a network. In other words, existing quantization algorithms are suboptimal as they ignore the different characteristics of different layers and quantize all layers by a uniform quantization strategy. To solve the issue, in this paper, we propose a differentiable quantization strategy search (DQSS) to assign optimal quantization strategy for individual layer by taking advantages of the benefits of different quantization algorithms. Specifically, we formulate DQSS as a differentiable neural architecture search problem and adopt an efficient convolution to efficiently explore the mixed quantization strategies from a global perspective by gradient-based optimization. We conduct DQSS for post-training quantization to enable their performance to be comparable with that in full precision models. We also employ DQSS in quantization-aware training for further validating the effectiveness of DQSS. To circumvent the expensive optimization cost when employing DQSS in quantization-aware training, we update the hyper-parameters and the network parameters in a single forward-backward pass. Besides, we adjust the optimization process to avoid the potential under-fitting problem. Comprehensive experiments on high level computer vision task, i.e., image classification, and low level computer vision task, i.e., image super-resolution, with various network architectures show that DQSS could outperform the state-of-the-arts.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)を高速化・圧縮するために、多くのネットワーク量子化アルゴリズムが提案されている。 最先端技術による任意のアルゴリズムの量子化戦略は、一部のネットワークアーキテクチャにおいて他のアルゴリズムよりも優れていますが、その戦略が他のアルゴリズムよりも常に優れていることを証明することは困難です。 言い換えれば、既存の量子化アルゴリズムは、異なる層の異なる特性を無視し、均一な量子化戦略によって全ての層を定量化するため、準最適である。 そこで本研究では,異なる量子化アルゴリズムの利点を生かして,各層に対して最適な量子化戦略を割り当てるための微分可能量子化戦略探索(DQSS)を提案する。 具体的には、DQSSを微分可能なニューラルネットワーク探索問題として定式化し、効率的な畳み込みを導入し、勾配に基づく最適化により、大域的な観点から混合量子化戦略を効率的に探索する。 学習後量子化のためのDQSSを実行し、その性能を完全精度モデルで比較できるようにします。 また、DQSSの有効性をさらに検証するために、量子化対応トレーニングにもDQSSを使用します。 量子化学習にDQSSを用いる場合の高コストな最適化コストを回避するため,超パラメータとネットワークパラメータを1つの前方パスで更新する。 さらに、最適化プロセスを調整することで、潜在的な過度な問題を回避する。 高レベルのコンピュータビジョンタスク、すなわち画像分類と低レベルのコンピュータビジョンタスクに関する総合的な実験、すなわち様々なネットワークアーキテクチャによる画像超解像は、DQSSが最先端技術より優れていることを示している。

関連論文リスト

• Quantum Local Search for Traveling Salesman Problem with Path-Slicing Strategy [1.8186826508785554]
  我々は,トラベリングセールスマン問題(TSP)の解を最適化するために,量子局所探索と統合された新しいパススライシング戦略を提案する。 我々は、TSPを管理可能なサブプロブレムに分割するために、k平均とアンチk平均クラスタリングを含む様々なパススライシング手法を探索する。 これらは量子や古典的な解法を用いて解かれる。
  論文  参考訳（メタデータ） (2024-07-18T15:55:01Z)
• Qubit-efficient Variational Quantum Algorithms for Image Segmentation [4.737806718785056]
  量子コンピューティングは、古典的なアルゴリズムの範囲を超えて、様々な計算タスクを変換することが期待されている。 本研究では,教師なし画像分割における変分量子アルゴリズム(VQA)の適用について検討する。
  論文  参考訳（メタデータ） (2024-05-23T10:21:57Z)
• Bayesian Parameterized Quantum Circuit Optimization (BPQCO): A task and hardware-dependent approach [49.89480853499917]
  変分量子アルゴリズム(VQA)は、最適化と機械学習問題を解決するための有望な量子代替手段として登場した。 本稿では,回路設計が2つの分類問題に対して得られる性能に与える影響を実験的に示す。 また、実量子コンピュータのシミュレーションにおいて、ノイズの存在下で得られた回路の劣化について検討する。
  論文  参考訳（メタデータ） (2024-04-17T11:00:12Z)
• Quantum Architecture Search with Unsupervised Representation Learning [24.698519892763283]
  教師なし表現学習は量子アーキテクチャ探索(QAS)を前進させる新しい機会を提供する QASは変分量子アルゴリズム(VQA)のための量子回路を最適化するように設計されている
  論文  参考訳（メタデータ） (2024-01-21T19:53:17Z)
• Quantum-Informed Recursive Optimization Algorithms [0.0]
  最適化問題に対する量子インフォームド再帰最適化(QIRO)アルゴリズムのファミリを提案し,実装する。 提案手法は、量子資源を利用して、問題固有の古典的還元ステップで使用される情報を得る。 バックトラック技術を用いて、量子ハードウェアの要求を増大させることなく、アルゴリズムの性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-08-25T18:02:06Z)
• ORQVIZ: Visualizing High-Dimensional Landscapes in Variational Quantum Algorithms [51.02972483763309]
  変分量子アルゴリズム(VQA)は、量子コンピュータの実用的な応用を見つけるための有望な候補である。 この作業には、オープンソースのPythonパッケージである$textitorqviz$のリリースが伴っている。
  論文  参考訳（メタデータ） (2021-11-08T18:17:59Z)
• Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization [45.22093693422085]
  混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。 いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。 混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
  論文  参考訳（メタデータ） (2021-03-04T09:15:08Z)
• FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints [93.4221402881609]
  量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
  論文  参考訳（メタデータ） (2020-11-30T07:12:26Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。