論文の概要: Push Quantization-Aware Training Toward Full Precision Performances via Consistency Regularization

• arxiv url: http://arxiv.org/abs/2402.13497v1
• Date: Wed, 21 Feb 2024 03:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 17:24:08.281938
• Title: Push Quantization-Aware Training Toward Full Precision Performances via Consistency Regularization
• Title（参考訳）: 一貫性規則化による完全精度演奏のためのプッシュ量子化アウェアトレーニング
• Authors: Junbiao Pang, Tianyang Cai, Baochang Zhang, Jiaqi Wu and Ye Tao
• Abstract要約: 量子アウェアトレーニング(QAT)の手法は、完全な精度(FP)向上に向けた性能を保証するために、ラベル付きデータセットや知識の蒸留に大きく依存する。 本稿では,QATのための一貫性規則化(CR)を導入する,シンプルで斬新だが強力な手法を提案する。 本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。
• 参考スコア（独自算出の注目度）: 23.085230108628707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Quantization-Aware Training (QAT) methods intensively depend on the complete labeled dataset or knowledge distillation to guarantee the performances toward Full Precision (FP) accuracies. However, empirical results show that QAT still has inferior results compared to its FP counterpart. One question is how to push QAT toward or even surpass FP performances. In this paper, we address this issue from a new perspective by injecting the vicinal data distribution information to improve the generalization performances of QAT effectively. We present a simple, novel, yet powerful method introducing an Consistency Regularization (CR) for QAT. Concretely, CR assumes that augmented samples should be consistent in the latent feature space. Our method generalizes well to different network architectures and various QAT methods. Extensive experiments demonstrate that our approach significantly outperforms the current state-of-the-art QAT methods and even FP counterparts.
• Abstract（参考訳）: 既存の量子化アウェアトレーニング(qat)手法は完全なラベル付きデータセットや知識蒸留に依存しており、完全な精度(fp)アキュラティエンスに対するパフォーマンスを保証する。 しかし, 実証実験の結果, QAT は FP と比較すると依然として劣っていることがわかった。 1つの疑問は、QATをFPパフォーマンスに向かわせるか、さらに超えるかだ。 本稿では,QATの一般化性能を効果的に向上するために,ビジナルデータ配信情報を注入することにより,新たな視点からこの問題に対処する。 本稿では,QATのための一貫性規則化(CR)を導入する,シンプルで斬新だが強力な手法を提案する。 具体的には、CRは拡張サンプルが潜在特徴空間で一貫性を持つべきであると仮定する。 本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。 大規模な実験により,本手法は現状のQAT法やFP法よりも優れていることが示された。

関連論文リスト

• From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge [0.0]
  Q-shapingは、エージェントトレーニングを加速するためにドメイン知識を取り入れた報酬形成の代替手段である。 我々は,大言語モデル(LLM)をプロバイダとして,20の異なる環境におけるQ-シェーピングを評価した。
  論文  参考訳（メタデータ） (2024-10-02T12:10:07Z)
• Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency [15.211462468655329]
  CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。 既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
  論文  参考訳（メタデータ） (2024-08-19T17:58:03Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Poster: Self-Supervised Quantization-Aware Knowledge Distillation [6.463799944811755]
  量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。 既存のQATの作業にはラベルの監督が必要であり、精度の低下による精度の低下に悩まされている。 本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T23:52:58Z)
• Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
  変動量子回路(VQC)における重み付けの考え方を紹介する。 我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。 以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T09:42:21Z)
• Quantum circuit architecture search on a superconducting processor [56.04169357427682]
  変分量子アルゴリズム(VQA)は、ファイナンス、機械学習、化学といった様々な分野において、証明可能な計算上の優位性を得るための強力な証拠を示している。 しかし、現代のVQAで利用されるアンザッツは、表現性と訓練性の間のトレードオフのバランスをとることができない。 8量子ビット超伝導量子プロセッサ上でVQAを強化するために,効率的な自動アンサッツ設計技術を適用した最初の実証実験を実証する。
  論文  参考訳（メタデータ） (2022-01-04T01:53:42Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。