論文の概要: SEAM: Searching Transferable Mixed-Precision Quantization Policy through Large Margin Regularization

• arxiv url: http://arxiv.org/abs/2302.06845v2
• Date: Wed, 23 Aug 2023 03:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 18:40:32.694815
• Title: SEAM: Searching Transferable Mixed-Precision Quantization Policy through Large Margin Regularization
• Title（参考訳）: SEAM:大規模マージン正規化によるトランスファーブル混合精密量子化政策の探索
• Authors: Chen Tang, Kai Ouyang, Zenghao Chai, Yunpeng Bai, Yuan Meng, Zhi Wang, Wenwu Zhu
• Abstract要約: 混合精度量子化(MPQ)は各層に対して最適なビット幅割り当てを求めるのに時間を要する。 本稿では,小規模なプロキシデータセットを用いて効率的なMPQポリシーを効率的に検索する手法を提案する。
• 参考スコア（独自算出の注目度）: 50.04951511146338
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixed-precision quantization (MPQ) suffers from the time-consuming process of searching the optimal bit-width allocation i.e., the policy) for each layer, especially when using large-scale datasets such as ISLVRC-2012. This limits the practicality of MPQ in real-world deployment scenarios. To address this issue, this paper proposes a novel method for efficiently searching for effective MPQ policies using a small proxy dataset instead of the large-scale dataset used for training the model. Deviating from the established norm of employing a consistent dataset for both model training and MPQ policy search stages, our approach, therefore, yields a substantial enhancement in the efficiency of MPQ exploration. Nonetheless, using discrepant datasets poses challenges in searching for a transferable MPQ policy. Driven by the observation that quantization noise of sub-optimal policy exerts a detrimental influence on the discriminability of feature representations -- manifesting as diminished class margins and ambiguous decision boundaries -- our method aims to identify policies that uphold the discriminative nature of feature representations, i.e., intra-class compactness and inter-class separation. This general and dataset-independent property makes us search for the MPQ policy over a rather small-scale proxy dataset and then the policy can be directly used to quantize the model trained on a large-scale dataset. Our method offers several advantages, including high proxy data utilization, no excessive hyper-parameter tuning, and high searching efficiency. We search high-quality MPQ policies with the proxy dataset that has only 4% of the data scale compared to the large-scale target dataset, achieving the same accuracy as searching directly on the latter, improving MPQ searching efficiency by up to 300 times.
• Abstract（参考訳）: 混合精度量子化(MPQ)は、特にISLVRC-2012のような大規模データセットを使用する場合、各層に対して最適なビット幅割り当て(すなわちポリシー)を探索する時間を要する。 これにより、現実世界のデプロイメントシナリオにおけるMPQの実用性が制限される。 そこで本研究では,モデルトレーニングに用いる大規模データセットの代わりに,小さなプロキシデータセットを用いて効率的なMPQポリシーを効率的に検索する手法を提案する。 モデルトレーニングとMPQポリシー検索の両段階に一貫したデータセットを採用するという確立した規範から,本手法はMPQ探索の効率を大幅に向上させる。 それでも、離散データセットを使用することで、転送可能なMPQポリシを探す上での課題が生じる。 準最適政策の量子化ノイズが特徴表現の識別可能性に有害な影響を及ぼすという観察から,本手法は特徴表現の識別性,すなわちクラス内コンパクト性およびクラス間分離性を支持する政策の同定を目的とした。 この一般的かつデータセット非依存のプロパティは、かなり小さなプロキシデータセット上でmpqポリシを検索し、その後、ポリシを直接使用して、大規模データセットでトレーニングされたモデルを定量化できます。 提案手法は,高プロキシデータ利用,過度なハイパーパラメータチューニング,高探索効率など,いくつかの利点を提供する。 我々は、大規模ターゲットデータセットと比較して、データスケールのわずか4%のプロキシデータセットで高品質MPQポリシーを検索し、後者を直接検索するのと同じ精度を達成し、MPQ検索効率を最大300倍向上させる。

関連論文リスト

• Data Selection via Optimal Control for Language Models [134.67665351539725]
  本研究は,大規模コーパスから高品質な事前学習データを選択することにより,下流利用におけるLMの能力を向上させることを目的とする。 PMP条件を解くことで最適なデータ選択を近似するフレームワークであるPMPベースのデータ選択(PDS)を導入する。 PDSの利点は、スケーリング法則に従ってテスト損失曲線の外挿によって証明されたように、10Tトークンでトレーニングされた400Bモデルにまで拡張される。
  論文  参考訳（メタデータ） (2024-10-09T17:06:57Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• MeaeQ: Mount Model Extraction Attacks with Efficient Queries [6.1106195466129485]
  自然言語処理(NLP)におけるモデル抽出攻撃の研究 これらの問題に対処する単純で効果的な方法であるMeaeQを提案する。 MeaeQは、クエリを少なくしながら、ベースラインよりも犠牲者モデルに高い機能的類似性を実現する。
  論文  参考訳（メタデータ） (2023-10-21T16:07:16Z)
• An Improved Data Augmentation Scheme for Model Predictive Control Policy Approximation [0.0]
  MPCポリシー近似のための感度に基づくデータ拡張フレームワークを提案する。 不正確なサンプルで設定したトレーニングデータセットの増大による誤差は、近隣の規模で増大した。 本稿では,ユーザの定義した精度のレベルを強制する予測器・相関器のステップに基づく改良されたデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T22:16:47Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)
• Noise-Resistant Deep Metric Learning with Probabilistic Instance Filtering [59.286567680389766]
  ノイズラベルは現実世界のデータによく見られ、ディープニューラルネットワークの性能劣化を引き起こす。 DMLのための確率的ランク付けに基づくメモリを用いたインスタンス選択(PRISM)手法を提案する。 PRISMはラベルがクリーンである確率を計算し、潜在的にノイズの多いサンプルをフィルタリングする。
  論文  参考訳（メタデータ） (2021-08-03T12:15:25Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• DeepSampling: Selectivity Estimation with Predicted Error and Response Time [7.23389716633927]
  本稿では,サンプルベースAQPアルゴリズムの精度を予測するディープラーニングモデルであるDeepSamplingを提案する。 DeepSamplingは、既存の空間データベースがAQPの精度を制御するための信頼性の高いツールを提供する最初のシステムである。
  論文  参考訳（メタデータ） (2020-08-16T03:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。