論文の概要: EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization

• arxiv url: http://arxiv.org/abs/2307.10554v1
• Date: Thu, 20 Jul 2023 03:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:00:20.224183
• Title: EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization
• Title（参考訳）: EMQ: 自動混合精度量子化のためのトレーニング不要プロキシの進化
• Authors: Peijie Dong and Lujun Li and Zimian Wei and Xin Niu and Zhiliang Tian and Hengyue Pan
• Abstract要約: 混合精度量子化(MQ)は、モデルの競合する精度と複雑さのトレードオフを実現する。 トレーニングなしのアプローチでは、様々なMQプロキシが提供され、検索効率が大幅に向上している。 我々は,進化するアルゴリズムを用いて,MQ用のプロキシフレームワークを自動で検索する手法を開発した。
• 参考スコア（独自算出の注目度）: 6.620773715467654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed-Precision Quantization~(MQ) can achieve a competitive accuracy-complexity trade-off for models. Conventional training-based search methods require time-consuming candidate training to search optimized per-layer bit-width configurations in MQ. Recently, some training-free approaches have presented various MQ proxies and significantly improve search efficiency. However, the correlation between these proxies and quantization accuracy is poorly understood. To address the gap, we first build the MQ-Bench-101, which involves different bit configurations and quantization results. Then, we observe that the existing training-free proxies perform weak correlations on the MQ-Bench-101. To efficiently seek superior proxies, we develop an automatic search of proxies framework for MQ via evolving algorithms. In particular, we devise an elaborate search space involving the existing proxies and perform an evolution search to discover the best correlated MQ proxy. We proposed a diversity-prompting selection strategy and compatibility screening protocol to avoid premature convergence and improve search efficiency. In this way, our Evolving proxies for Mixed-precision Quantization~(EMQ) framework allows the auto-generation of proxies without heavy tuning and expert knowledge. Extensive experiments on ImageNet with various ResNet and MobileNet families demonstrate that our EMQ obtains superior performance than state-of-the-art mixed-precision methods at a significantly reduced cost. The code will be released.
• Abstract（参考訳）: Mixed-Precision Quantization~(MQ)は、モデルの競合する精度と複雑さのトレードオフを実現する。 従来のトレーニングベースの検索手法では、MQ内の層ごとのビット幅設定を最適化するために時間を要する。 近年、トレーニング不要なアプローチでは様々なMQプロキシが提供され、探索効率が大幅に向上している。 しかし、これらのプロキシと量子化精度の相関性はよく分かっていない。 このギャップに対処するために、私たちはまず、異なるビット構成と量子化結果を含むMQ-Bench-101を構築します。 そこで,既存のトレーニングフリープロキシはMQ-Bench-101上で弱い相関関係を示す。 優れたプロキシを効率的に探索するために,進化アルゴリズムによるMQ用プロキシフレームワークの自動検索を開発する。 特に、既存のプロキシを含む精巧な検索空間を考案し、進化探索を行い、最も相関性の高いMQプロキシを発見する。 我々は, 早期収束を回避し, 検索効率を向上させるために, 多様性向上戦略と互換性スクリーニングプロトコルを提案する。 このようにして、Evolving proxies for Mixed-precision Quantization~(EMQ)フレームワークは、重いチューニングや専門知識のないプロキシの自動生成を可能にします。 様々なResNetおよびMobileNetファミリによるImageNetの大規模な実験により、当社のEMQは最先端の混合精度メソッドよりも大幅にコストを削減して優れたパフォーマンスが得られることを示した。 コードはリリースされます。

関連論文リスト

• Coverage Analysis for Digital Cousin Selection -- Improving Multi-Environment Q-Learning [24.212773534280387]
  近年の進歩としては、マルチ環境混合Q-ラーニング(MEMQ)アルゴリズムがある。 MEMQアルゴリズムは、精度、複雑さ、堅牢性の点で、最先端のQ-ラーニングアルゴリズムよりも優れています。 本稿では,既存のMEMQアルゴリズムの精度と複雑さを改善するために,新しいCCベースのMEMQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-13T06:16:12Z)
• ICQ: A Quantization Scheme for Best-Arm Identification Over Bit-Constrained Channels [9.173160301214805]
  マルチアームバンディット設定の分散変種におけるベストアーム識別の問題について検討する。 Inflating Confidence for Quantization (ICQ) と呼ばれる新しい量子化手法を提案する。
  論文  参考訳（メタデータ） (2023-04-30T17:00:03Z)
• SEAM: Searching Transferable Mixed-Precision Quantization Policy through Large Margin Regularization [50.04951511146338]
  混合精度量子化(MPQ)は各層に対して最適なビット幅割り当てを求めるのに時間を要する。 本稿では,小規模なプロキシデータセットを用いて効率的なMPQポリシーを効率的に検索する手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T05:47:45Z)
• Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning [22.31766292657812]
  混合精度量子化は、実際のトレーニングの前に、主にモデルビット幅設定を事前に決定する。 DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。
  論文  参考訳（メタデータ） (2023-02-09T06:14:00Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)
• Adversarial Option-Aware Hierarchical Imitation Learning [89.92994158193237]
  提案するOption-GAILは,遠隔地平線でスキルを学ぶための新しい手法である。 Option-GAILの鍵となる考え方は、タスク階層をオプションでモデル化し、生成的敵最適化を通じてポリシーを訓練することである。 実験によると、Option-GAILはさまざまなタスクにおいて、他のタスクよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-06-10T06:42:05Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• Multi-Agent Determinantal Q-Learning [39.79718674655209]
  マルチエージェント決定型Q-ラーニングを提案する。Q-DPPはエージェントが多様な行動モデルを取得することを奨励する。 分散型協調作業において,Q-DPPがVDN,QMIX,QTRANなどの主要なソリューションを一般化することを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。