論文の概要: Searching Transferable Mixed-Precision Quantization Policy through Large Margin Regularization

• arxiv url: http://arxiv.org/abs/2302.06845v1
• Date: Tue, 14 Feb 2023 05:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 16:20:39.657291
• Title: Searching Transferable Mixed-Precision Quantization Policy through Large Margin Regularization
• Title（参考訳）: 大マージン正則化による検索転送可能な混合精度量子化政策
• Authors: Chen Tang, Kai Ouyang, Zenghao Chai, Yunpeng Bai, Zhi Wang
• Abstract要約: 混合精度量子化(MPQ)は、大規模データセット上での時間を要するポリシー探索プロセスに悩まされる。 本稿では,大規模モデルで訓練されたモデルに対して,小さなプロキシデータセットを用いてMPQポリシーを探索することを提案する。
• 参考スコア（独自算出の注目度）: 12.117842920936269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-precision quantization (MPQ) suffers from time-consuming policy search process (i.e., the bit-width assignment for each layer) on large-scale datasets (e.g., ISLVRC-2012), which heavily limits its practicability in real-world deployment scenarios. In this paper, we propose to search the effective MPQ policy by using a small proxy dataset for the model trained on a large-scale one. It breaks the routine that requires a consistent dataset at model training and MPQ policy search time, which can improve the MPQ searching efficiency significantly. However, the discrepant data distributions bring difficulties in searching for such a transferable MPQ policy. Motivated by the observation that quantization narrows the class margin and blurs the decision boundary, we search the policy that guarantees a general and dataset-independent property: discriminability of feature representations. Namely, we seek the policy that can robustly keep the intra-class compactness and inter-class separation. Our method offers several advantages, i.e., high proxy data utilization, no extra hyper-parameter tuning for approximating the relationship between full-precision and quantized model and high searching efficiency. We search high-quality MPQ policies with the proxy dataset that has only 4% of the data scale compared to the large-scale target dataset, achieving the same accuracy as searching directly on the latter, and improving the MPQ searching efficiency by up to 300 times.
• Abstract（参考訳）: 混合精度量子化(MPQ)は、大規模なデータセット(例えばISLVRC-2012)上の時間を要するポリシー探索プロセス(すなわち各レイヤのビット幅割当)に悩まされ、現実のデプロイメントシナリオにおける実行可能性を大幅に制限する。 本稿では,大規模モデルで訓練されたモデルに対して,小さなプロキシデータセットを用いてMPQポリシーを探索することを提案する。 モデルトレーニングとMPQポリシー検索時間において一貫したデータセットを必要とするルーチンを破り、MPQ検索効率を大幅に改善する。 しかし、データ分散の相違は、そのような転送可能なMPQポリシーを探すのに困難をもたらす。 量子化がクラスマージンを狭め、決定境界を曖昧にするという観察に動機付けられ、一般性およびデータセット非依存性を保証するポリシーを探索する:特徴表現の識別可能性。 すなわち,クラス内コンパクト性とクラス間分離を堅牢に維持する政策を模索する。 提案手法は,高プロキシデータ利用,高パラメータチューニングを不要にすることで,完全精度と量子化モデルの関係を近似し,探索効率を向上する。 我々は,大規模ターゲットデータセットと比較してデータスケールのわずか4%のプロキシデータセットを用いて高品質mpqポリシを検索し,後者の検索と同等の精度を実現し,mpq検索効率を最大300倍向上させる。

関連論文リスト

• Data Selection via Optimal Control for Language Models [134.67665351539725]
  本研究は,大規模コーパスから高品質な事前学習データを選択することにより,下流利用におけるLMの能力を向上させることを目的とする。 PMP条件を解くことで最適なデータ選択を近似するフレームワークであるPMPベースのデータ選択(PDS)を導入する。 PDSの利点は、スケーリング法則に従ってテスト損失曲線の外挿によって証明されたように、10Tトークンでトレーニングされた400Bモデルにまで拡張される。
  論文  参考訳（メタデータ） (2024-10-09T17:06:57Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• MeaeQ: Mount Model Extraction Attacks with Efficient Queries [6.1106195466129485]
  自然言語処理(NLP)におけるモデル抽出攻撃の研究 これらの問題に対処する単純で効果的な方法であるMeaeQを提案する。 MeaeQは、クエリを少なくしながら、ベースラインよりも犠牲者モデルに高い機能的類似性を実現する。
  論文  参考訳（メタデータ） (2023-10-21T16:07:16Z)
• An Improved Data Augmentation Scheme for Model Predictive Control Policy Approximation [0.0]
  MPCポリシー近似のための感度に基づくデータ拡張フレームワークを提案する。 不正確なサンプルで設定したトレーニングデータセットの増大による誤差は、近隣の規模で増大した。 本稿では,ユーザの定義した精度のレベルを強制する予測器・相関器のステップに基づく改良されたデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T22:16:47Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)
• Noise-Resistant Deep Metric Learning with Probabilistic Instance Filtering [59.286567680389766]
  ノイズラベルは現実世界のデータによく見られ、ディープニューラルネットワークの性能劣化を引き起こす。 DMLのための確率的ランク付けに基づくメモリを用いたインスタンス選択(PRISM)手法を提案する。 PRISMはラベルがクリーンである確率を計算し、潜在的にノイズの多いサンプルをフィルタリングする。
  論文  参考訳（メタデータ） (2021-08-03T12:15:25Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• DeepSampling: Selectivity Estimation with Predicted Error and Response Time [7.23389716633927]
  本稿では,サンプルベースAQPアルゴリズムの精度を予測するディープラーニングモデルであるDeepSamplingを提案する。 DeepSamplingは、既存の空間データベースがAQPの精度を制御するための信頼性の高いツールを提供する最初のシステムである。
  論文  参考訳（メタデータ） (2020-08-16T03:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。