論文の概要: Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2302.04453v1
• Date: Thu, 9 Feb 2023 06:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 16:49:22.171955
• Title: Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
• Title（参考訳）: ハイブリッド強化学習によるデータ品質を考慮した混合精度量子化
• Authors: Yingchun Wang and Jingcai Guo and Song Guo and Weizhan Zhang
• Abstract要約: 混合精度量子化は、実際のトレーニングの前に、主にモデルビット幅設定を事前に決定する。 DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。
• 参考スコア（独自算出の注目度）: 22.31766292657812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed-precision quantization mostly predetermines the model bit-width settings before actual training due to the non-differential bit-width sampling process, obtaining sub-optimal performance. Worse still, the conventional static quality-consistent training setting, i.e., all data is assumed to be of the same quality across training and inference, overlooks data quality changes in real-world applications which may lead to poor robustness of the quantized models. In this paper, we propose a novel Data Quality-aware Mixed-precision Quantization framework, dubbed DQMQ, to dynamically adapt quantization bit-widths to different data qualities. The adaption is based on a bit-width decision policy that can be learned jointly with the quantization training. Concretely, DQMQ is modeled as a hybrid reinforcement learning (RL) task that combines model-based policy optimization with supervised quantization training. By relaxing the discrete bit-width sampling to a continuous probability distribution that is encoded with few learnable parameters, DQMQ is differentiable and can be directly optimized end-to-end with a hybrid optimization target considering both task performance and quantization benefits. Trained on mixed-quality image datasets, DQMQ can implicitly select the most proper bit-width for each layer when facing uneven input qualities. Extensive experiments on various benchmark datasets and networks demonstrate the superiority of DQMQ against existing fixed/mixed-precision quantization methods.
• Abstract（参考訳）: 混合精度量子化は、非微分ビット幅サンプリングプロセスにより実際のトレーニング前にモデルビット幅設定を事前決定し、準最適性能を得る。 さらに悪いことに、従来の静的な品質一貫性のあるトレーニング設定、すなわち、全てのデータはトレーニングと推論で同じ品質であると仮定され、実世界のアプリケーションにおけるデータ品質の変化を見落とし、量子化されたモデルのロバスト性を損なう可能性がある。 本稿では、DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。 この適応は、量子化トレーニングと共同で学習できるビット幅決定ポリシーに基づいている。 具体的には、DQMQは、モデルベースのポリシー最適化と教師付き量子化トレーニングを組み合わせたハイブリッド強化学習(RL)タスクとしてモデル化されている。 離散ビット幅サンプリングを、少ない学習可能なパラメータで符号化された連続確率分布に緩和することにより、DQMQは微分可能であり、タスク性能と量子化の利点の両方を考慮して、ハイブリッド最適化ターゲットでエンドツーエンドを直接最適化することができる。 混合品質の画像データセットに基づいてトレーニングされたDQMQは、不均一な入力品質に直面した場合、各レイヤの最も適切なビット幅を暗黙的に選択できる。 様々なベンチマークデータセットとネットワークに関する広範囲な実験により、既存の固定/混合精度量子化法に対するdqmqの優位性が証明された。

関連論文リスト

• MetaAug: Meta-Data Augmentation for Post-Training Quantization [32.02377559968568]
  トレーニング後の量子化(PTQ)は、完全な精度モデルを定量化するために、小さなキャリブレーションデータのみを必要とするため、大きな注目を集めている。 本稿では,ポストトレーニング量子化の性能向上のためのメタラーニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-20T02:18:51Z)
• Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
  No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。 我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 提案手法は,最新のPCQA手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T07:16:07Z)
• Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices [17.56259695496955]
  本稿では,資源不均一なFLシステムに混合精度量子化を導入する新しいFLアルゴリズムであるFedMPQを提案する。 具体的には、ビット幅制約を満たすために量子化された局所モデルは、目的関数を最適化することによって訓練される。 ローカルトレーニングの次のラウンドを初期化するために、サーバは、異なるクライアントに配信されるモデルのビット幅割り当てをカスタマイズするために、前回のトレーニングラウンドで学んだ情報に依存する。
  論文  参考訳（メタデータ） (2023-11-29T22:43:40Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。