論文の概要: Poster: Self-Supervised Quantization-Aware Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2309.13220v1
• Date: Fri, 22 Sep 2023 23:52:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 21:23:01.338972
• Title: Poster: Self-Supervised Quantization-Aware Knowledge Distillation
• Title（参考訳）: ポスト:自己監督型量子化-知識蒸留
• Authors: Kaiqi Zhao, Ming Zhao
• Abstract要約: 量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。 既存のQATの作業にはラベルの監督が必要であり、精度の低下による精度の低下に悩まされている。 本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
• 参考スコア（独自算出の注目度）: 6.463799944811755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization-aware training (QAT) starts with a pre-trained full-precision model and performs quantization during retraining. However, existing QAT works require supervision from the labels and they suffer from accuracy loss due to reduced precision. To address these limitations, this paper proposes a novel Self-Supervised Quantization-Aware Knowledge Distillation framework (SQAKD). SQAKD first unifies the forward and backward dynamics of various quantization functions and then reframes QAT as a co-optimization problem that simultaneously minimizes the KL-Loss and the discretization error, in a self-supervised manner. The evaluation shows that SQAKD significantly improves the performance of various state-of-the-art QAT works. SQAKD establishes stronger baselines and does not require extensive labeled training data, potentially making state-of-the-art QAT research more accessible.
• Abstract（参考訳）: 量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。 しかし、既存のQATはレーベルの監督を必要としており、精度の低下による精度の低下に悩まされている。 これらの制約に対処するため,本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。 SQAKDはまず、様々な量子化関数の前方と後方のダイナミクスを統一し、次に、KL-Lossと離散化誤差を同時に最小化する共最適化問題としてQATを再配置する。 評価の結果,SQAKDは様々な最先端QAT作品の性能を著しく向上させることがわかった。 SQAKDはより強力なベースラインを確立し、ラベル付きトレーニングデータを必要としない。

関連論文リスト

• Dual Ensembled Multiagent Q-Learning with Hypernet Regularizer [62.01554688056335]
  マルチエージェント設定における過大評価は、比較的ほとんど注目されていない。 本稿では,超ネットワーク重みとバイアスに関する新しいハイパーネット正規化器を提案し,オンライングローバルQ-ネットワークの最適化を制約し,過大な推定の蓄積を防止する。
  論文  参考訳（メタデータ） (2025-02-04T05:14:58Z)
• High-Fidelity Coherent-One-Way QKD Simulation Framework for 6G Networks: Bridging Theory and Reality [105.73011353120471]
  量子鍵分布(QKD)は情報理論のセキュリティを保証するための有望なソリューションとして浮上している。 かなり高価なQKD機器のため、QKD通信システム設計ツールの欠如は困難である。 本稿ではQKD通信システム設計ツールを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T11:03:59Z)
• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• Self-Supervised Quantization-Aware Knowledge Distillation [5.4714555711042]
  本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation)フレームワークを提案する。 SQAKDは、様々な量子化関数の前方と後方のダイナミクスを統一し、様々なQAT処理を組み込むのに柔軟である。 包括的な評価では、SQAKDは最先端のQATやKDよりも大幅に優れており、様々なモデルアーキテクチャで機能している。
  論文  参考訳（メタデータ） (2024-03-17T06:20:28Z)
• In-Distribution Consistency Regularization Improves the Generalization of Quantization-Aware Training [16.475151881506914]
  量子化アウェアトレーニング(QAT)の一般化能力を向上させるために、一貫性規則化(CR)を提案する。 我々のアプローチは、現在の最先端QAT手法やFP手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-21T03:19:48Z)
• Challenges for Reinforcement Learning in Quantum Circuit Design [8.894627352356302]
  ハイブリッド量子機械学習(QML)は、機械学習(ML)を改善するためのQCの応用と、QCアーキテクチャを改善するためのMLの両方を含む。 我々はマルコフ決定過程として定式化された具体的なフレームワークであるqcd-gymを提案し、連続パラメータ化された量子ゲートの普遍的なセットを制御することができる学習ポリシーを実現する。
  論文  参考訳（メタデータ） (2023-12-18T16:41:30Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models [14.07649230604283]
  モデル精度を向上させるために,量子化意識トレーニング(QAT)プロセスに対する低複雑性な変更を提案する。 精度が向上し、ノイズベースのQATの他の利点を活用できるようになる。
  論文  参考訳（メタデータ） (2023-05-24T19:45:56Z)
• SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization [13.075574481614478]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。 本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。 実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
  論文  参考訳（メタデータ） (2022-05-16T09:49:37Z)
• ProQA: Structural Prompt-based Pre-training for Unified Question Answering [84.59636806421204]
  ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。 全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。 ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
  論文  参考訳（メタデータ） (2022-05-09T04:59:26Z)
• Quantum circuit architecture search on a superconducting processor [56.04169357427682]
  変分量子アルゴリズム(VQA)は、ファイナンス、機械学習、化学といった様々な分野において、証明可能な計算上の優位性を得るための強力な証拠を示している。 しかし、現代のVQAで利用されるアンザッツは、表現性と訓練性の間のトレードオフのバランスをとることができない。 8量子ビット超伝導量子プロセッサ上でVQAを強化するために,効率的な自動アンサッツ設計技術を適用した最初の実証実験を実証する。
  論文  参考訳（メタデータ） (2022-01-04T01:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。