論文の概要: SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

• arxiv url: http://arxiv.org/abs/2603.18423v1
• Date: Thu, 19 Mar 2026 02:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.921766
• Title: SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
• Title（参考訳）: SynQ: 合成対応ファインチューニングによる高精度ゼロショット量子化
• Authors: Minjun Kim, Jongjin Kim, U Kang,
• Abstract要約: 量子化アルゴリズムは、リソース制約のあるエッジデバイスにニューラルネットワークをデプロイするために広く使用されている。 Zero-shot Quantization (ZSQ)は、プライバシやセキュリティ上の理由から、トレーニングデータがアクセスできない、重要かつ実践的なシナリオに対処する。 我々は既存の手法の限界を克服するため、SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization)を提案する。
• 参考スコア（独自算出の注目度）: 20.646275941976224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we accurately quantize a pre-trained model without any data? Quantization algorithms are widely used for deploying neural networks on resource-constrained edge devices. Zero-shot Quantization (ZSQ) addresses the crucial and practical scenario where training data are inaccessible for privacy or security reasons. However, three significant challenges hinder the performance of existing ZSQ methods: 1) noise in the synthetic dataset, 2) predictions based on off-target patterns, and the 3) misguidance by erroneous hard labels. In this paper, we propose SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization), a carefully designed ZSQ framework to overcome the limitations of existing methods. SynQ minimizes the noise from the generated samples by exploiting a low-pass filter. Then, SynQ trains the quantized model to improve accuracy by aligning its class activation map with the pre-trained model. Furthermore, SynQ mitigates misguidance from the pre-trained model's error by leveraging only soft labels for difficult samples. Extensive experiments show that SynQ provides the state-of-the-art accuracy, over existing ZSQ methods.
• Abstract（参考訳）: トレーニング済みのモデルをデータなしで正確に定量化するにはどうすればよいのか? 量子化アルゴリズムは、リソース制約のあるエッジデバイスにニューラルネットワークをデプロイするために広く使用されている。 Zero-shot Quantization (ZSQ)は、プライバシやセキュリティ上の理由から、トレーニングデータがアクセスできない、重要かつ実践的なシナリオに対処する。 しかし、既存のZSQメソッドのパフォーマンスを阻害する3つの重要な課題がある。 1)合成データセットのノイズ 2【対象外パターンに基づく予測】 3) 誤記による誤認 本稿では,既存の手法の限界を克服するためのZSQフレームワークであるSynQ(Synthesis-aware Fine-tuning for Zero-shot Quantization)を提案する。 SynQはローパスフィルタを利用して生成されたサンプルからのノイズを最小限にする。 次に、SynQは、そのクラスのアクティベーションマップを事前訓練されたモデルと整列させることで、精度を向上させるために量子化モデルを訓練する。 さらに、SynQは、難しいサンプルにソフトラベルのみを活用することにより、事前訓練されたモデルのエラーからの誤認を軽減する。 大規模な実験により、SynQは既存のZSQ法よりも最先端の精度を提供することが示された。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• GenQ: Quantization in Low Data Regimes with Generative Synthetic Data [28.773641633757283]
  我々は、高度な生成AIモデルを用いて高分解能合成データを生成する新しいアプローチであるGenQを紹介する。 データの可用性が限られている場合、実際のデータは合成データ生成プロセスのガイドに使用される。 厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-12-07T23:31:42Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Hard Sample Matters a Lot in Zero-Shot Quantization [52.32914196337281]
  ゼロショット量子化(ZSQ)は、完全精度モデルのトレーニング用データがアクセスできない場合に、ディープニューラルネットワークの圧縮と加速を約束する。 ZSQでは、合成サンプルを用いてネットワーク量子化を行うため、量子化モデルの性能は合成サンプルの品質に大きく依存する。 この問題に対処するために,HArdサンプル合成訓練(HAST)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T06:22:57Z)
• Genie: Show Me the Data for Quantization [2.7286395031146062]
  本稿では,高品質な量子化ネットワークを数時間で生成するゼロショット量子化のためのポストトレーニング量子化手法を提案する。 また,学習後の量子化アルゴリズムを提案し,量子化モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2022-12-09T11:18:40Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。