論文の概要: Push Quantization-Aware Training Toward Full Precision Performances via Consistency Regularization

• arxiv url: http://arxiv.org/abs/2402.13497v1
• Date: Wed, 21 Feb 2024 03:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 17:24:08.281938
• Title: Push Quantization-Aware Training Toward Full Precision Performances via Consistency Regularization
• Title（参考訳）: 一貫性規則化による完全精度演奏のためのプッシュ量子化アウェアトレーニング
• Authors: Junbiao Pang, Tianyang Cai, Baochang Zhang, Jiaqi Wu and Ye Tao
• Abstract要約: 量子アウェアトレーニング(QAT)の手法は、完全な精度(FP)向上に向けた性能を保証するために、ラベル付きデータセットや知識の蒸留に大きく依存する。 本稿では,QATのための一貫性規則化(CR)を導入する,シンプルで斬新だが強力な手法を提案する。 本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。
• 参考スコア（独自算出の注目度）: 23.085230108628707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Quantization-Aware Training (QAT) methods intensively depend on the complete labeled dataset or knowledge distillation to guarantee the performances toward Full Precision (FP) accuracies. However, empirical results show that QAT still has inferior results compared to its FP counterpart. One question is how to push QAT toward or even surpass FP performances. In this paper, we address this issue from a new perspective by injecting the vicinal data distribution information to improve the generalization performances of QAT effectively. We present a simple, novel, yet powerful method introducing an Consistency Regularization (CR) for QAT. Concretely, CR assumes that augmented samples should be consistent in the latent feature space. Our method generalizes well to different network architectures and various QAT methods. Extensive experiments demonstrate that our approach significantly outperforms the current state-of-the-art QAT methods and even FP counterparts.
• Abstract（参考訳）: 既存の量子化アウェアトレーニング(qat)手法は完全なラベル付きデータセットや知識蒸留に依存しており、完全な精度(fp)アキュラティエンスに対するパフォーマンスを保証する。 しかし, 実証実験の結果, QAT は FP と比較すると依然として劣っていることがわかった。 1つの疑問は、QATをFPパフォーマンスに向かわせるか、さらに超えるかだ。 本稿では,QATの一般化性能を効果的に向上するために,ビジナルデータ配信情報を注入することにより,新たな視点からこの問題に対処する。 本稿では,QATのための一貫性規則化(CR)を導入する,シンプルで斬新だが強力な手法を提案する。 具体的には、CRは拡張サンプルが潜在特徴空間で一貫性を持つべきであると仮定する。 本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。 大規模な実験により,本手法は現状のQAT法やFP法よりも優れていることが示された。

関連論文リスト

• From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge [0.0]
  Q-shapingは、エージェントトレーニングを加速するためにドメイン知識を取り入れた報酬形成の代替手段である。 我々は,大言語モデル(LLM)をプロバイダとして,20の異なる環境におけるQ-シェーピングを評価した。
  論文  参考訳（メタデータ） (2024-10-02T12:10:07Z)
• Smart Sampling: Self-Attention and Bootstrapping for Improved Ensembled Q-Learning [0.6963971634605796]
  アンサンブルQ学習のサンプル効率向上を目的とした新しい手法を提案する。 提案手法は,組立Qネットワークにマルチヘッド自己アテンションを組み込むとともに,組立Qネットワークが取り入れた状態-動作ペアをブートストラップする。
  論文  参考訳（メタデータ） (2024-05-14T00:57:02Z)
• Self-Supervised Quantization-Aware Knowledge Distillation [5.4714555711042]
  本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation)フレームワークを提案する。 SQAKDは、様々な量子化関数の前方と後方のダイナミクスを統一し、様々なQAT処理を組み込むのに柔軟である。 包括的な評価では、SQAKDは最先端のQATやKDよりも大幅に優れており、様々なモデルアーキテクチャで機能している。
  論文  参考訳（メタデータ） (2024-03-17T06:20:28Z)
• Poster: Self-Supervised Quantization-Aware Knowledge Distillation [6.463799944811755]
  量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。 既存のQATの作業にはラベルの監督が必要であり、精度の低下による精度の低下に悩まされている。 本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T23:52:58Z)
• Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance [53.45700148820669]
  ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。 その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。 そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
  論文  参考訳（メタデータ） (2023-03-23T02:55:50Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Quantum circuit architecture search on a superconducting processor [56.04169357427682]
  変分量子アルゴリズム(VQA)は、ファイナンス、機械学習、化学といった様々な分野において、証明可能な計算上の優位性を得るための強力な証拠を示している。 しかし、現代のVQAで利用されるアンザッツは、表現性と訓練性の間のトレードオフのバランスをとることができない。 8量子ビット超伝導量子プロセッサ上でVQAを強化するために,効率的な自動アンサッツ設計技術を適用した最初の実証実験を実証する。
  論文  参考訳（メタデータ） (2022-01-04T01:53:42Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Aggressive Q-Learning with Ensembles: Achieving Both High Sample Efficiency and High Asymptotic Performance [12.871109549160389]
  本稿では、REDQのサンプル効率とTQCの性能を改善する新しいモデルフリーアルゴリズム、AQEを提案する。 AQEは非常に単純で、批評家の分布表現もターゲットのランダム化も必要としない。
  論文  参考訳（メタデータ） (2021-11-17T14:48:52Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。