論文の概要: Zero-shot Quantization: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2505.09188v1
- Date: Wed, 14 May 2025 06:39:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.389872
- Title: Zero-shot Quantization: A Comprehensive Survey
- Title（参考訳）: Zero-shot Quantization: 総合的な調査
- Authors: Minjun Kim, Jaehyeon Choi, Jongkeun Lee, Wonjin Cho, U Kang,
- Abstract要約: ネットワーク量子化は、リソース制約のあるデバイスに展開するためのディープラーニングモデルのメモリと計算要求を減らすための強力なアプローチであることが証明されている。
従来の量子化手法は、プライバシ、セキュリティ、規制上の制約のため、現実の多くのシナリオでは非現実的なトレーニングデータへのアクセスに依存していることが多い。
ZSQは有望なソリューションとして登場し、実際のデータを必要としない量子化を実現する。
- 参考スコア（独自算出の注目度）: 12.68672621429695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network quantization has proven to be a powerful approach to reduce the memory and computational demands of deep learning models for deployment on resource-constrained devices. However, traditional quantization methods often rely on access to training data, which is impractical in many real-world scenarios due to privacy, security, or regulatory constraints. Zero-shot Quantization (ZSQ) emerges as a promising solution, achieving quantization without requiring any real data. In this paper, we provide a comprehensive overview of ZSQ methods and their recent advancements. First, we provide a formal definition of the ZSQ problem and highlight the key challenges. Then, we categorize the existing ZSQ methods into classes based on data generation strategies, and analyze their motivations, core ideas, and key takeaways. Lastly, we suggest future research directions to address the remaining limitations and advance the field of ZSQ. To the best of our knowledge, this paper is the first in-depth survey on ZSQ.
- Abstract（参考訳）: ネットワーク量子化は、リソース制約のあるデバイスに展開するためのディープラーニングモデルのメモリと計算要求を減らすための強力なアプローチであることが証明されている。
しかし、従来の量子化手法は、プライバシ、セキュリティ、規制の制約により現実の多くのシナリオでは非現実的なトレーニングデータへのアクセスに依存していることが多い。
Zero-shot Quantization (ZSQ) は有望なソリューションとして登場し、実際のデータを必要としない量子化を実現する。
本稿では,ZSQ法とその最近の進歩について概観する。
まず、ZSQ問題を形式的に定義し、重要な課題を浮き彫りにする。
次に、既存のZSQメソッドをデータ生成戦略に基づくクラスに分類し、そのモチベーション、コアアイデア、キーテイクアウトを分析した。
最後に、残りの制限に対処し、ZSQの分野を前進させるための今後の研究の方向性を提案する。
我々の知る限りでは、この論文はZSQに関する最初の詳細な調査である。
関連論文リスト
- GranQ: Granular Zero-Shot Quantization with Unified Layer-Channel Awareness [1.8067835669244101]
GranQは、層チャネル認識を利用して量子化エラーを最小限に抑える新しいZSQアプローチである。
GranQは、量子化学習を用いた最先端のZSQ手法と比較して、優れた性能を実現している。
論文 参考訳（メタデータ） (2025-03-24T04:44:21Z) - Art and Science of Quantizing Large-Scale Models: A Comprehensive Overview [4.166341398835636]
本稿では,モデルサイズ成長の必要性と影響を論じ,性能のメリットと計算課題,環境配慮について考察する。
ポストトレーニング量子化(PTQ)と量子化対応トレーニング(QAT)の両方を含む、さまざまな量子化手法を探求する。
これらの手法が、アウトレーヤや重み付け、アクティベーション量子化といった問題にどのように対処するかを検討し、最終的には、より持続可能な大規模モデルのデプロイに寄与する。
論文 参考訳（メタデータ） (2024-09-18T02:35:00Z) - Hype or Heuristic? Quantum Reinforcement Learning for Join Order Optimisation [5.373015313199384]
最適な結合順序(JO)を特定することは、データベースの研究とエンジニアリングにおいて重要な課題である。
近年, JO の強化学習 (RL) の研究開発に成功している。
本稿では,交互変分量子アンサッツに基づく量子強化学習(QRL)をJOに適用した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-13T14:14:12Z) - Fine-Grained Zero-Shot Learning: Advances, Challenges, and Prospects [84.36935309169567]
ゼロショット学習(ZSL)における微粒化解析の最近の進歩を概観する。
まず、各カテゴリの詳細な分析を行い、既存の手法と手法の分類について述べる。
次に、ベンチマークを要約し、公開データセット、モデル、実装、およびライブラリとしての詳細について説明する。
論文 参考訳（メタデータ） (2024-01-31T11:51:24Z) - Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。
評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-26T18:23:21Z) - Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。
種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T07:09:56Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。
凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
論文 参考訳（メタデータ） (2023-03-28T13:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。