論文の概要: An Empirical Study of OpenPangu Quantization on Ascend NPUs

• arxiv url: http://arxiv.org/abs/2606.21257v1
• Date: Fri, 19 Jun 2026 09:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:01:44.331083
• Title: An Empirical Study of OpenPangu Quantization on Ascend NPUs
• Title（参考訳）: Ascend NPUにおけるOpenPangu量子化の実証的研究
• Authors: Tong Shi, Jiacheng Wang, Hui Xie, Ying Li, Aishan Liu, Jinyang Guo, Xianglong Liu,
• Abstract要約: OpenPanguモデルは、プライベートおよび国内における大規模言語モデルのデプロイにとって魅力的なターゲットである。 本稿では,Huawei Ascend 910B1 NPUにおけるOpenPangu 1Bおよび7Bモデルの制御実験を行った。
• 参考スコア（独自算出の注目度）: 43.29474342134475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: OpenPangu models are attractive targets for private and domestic large-language-model deployment, yet their robustness under aggressive post-training quantization on Ascend NPUs has not been systematically characterized. This paper conducts a controlled empirical study of OpenPangu 1B and 7B models on Huawei Ascend 910B1 NPUs. We evaluate representative weight-only and weight-activation post-training quantization methods, including RTN, GPTQ, AWQ, SmoothQuant, GPTAQ, BiLLM, and SliM-LLM, under a unified calibration and evaluation protocol. Across 18 evaluation tasks, we find that 8-bit weight-only quantization is effectively lossless for both models, while 4-bit quantization remains practical for the 7B model but is visibly more harmful for the 1B model on reasoning, math, and code tasks. Ultra-low precision remains challenging: most 2-bit and binary settings collapse to near-random behavior, and W4A4 SmoothQuant produces non-finite perplexity in our evaluation. These results provide an NPU-oriented accuracy map for selecting OpenPangu quantization settings and highlight the persistent difficulty of extreme low-bit compression.
• Abstract（参考訳）: OpenPangu モデルは,個人用および国内用大規模言語モデル展開の魅力的なターゲットとなっているが,Ascend NPU 上でのアグレッシブなポストトレーニング量子化の下での堅牢性は,体系的に評価されていない。 本稿では,Huawei Ascend 910B1 NPUにおけるOpenPangu 1Bおよび7Bモデルの制御実験を行った。 我々は, RTN, GPTQ, AWQ, SmoothQuant, GPTAQ, BiLLM, SliM-LLM など, 統一的なキャリブレーションと評価プロトコルを用いて, 代表的な重量限定および重量活性化後量子化法の評価を行った。 18個の評価課題において, 両モデルにおいて8ビットの重みのみの量子化が効果的に無害であるのに対し, 4ビットの量子化は7Bモデルでは実用的であるが, 推論, 数学, コードタスクでは1Bモデルでは目に見えるほど有害であることがわかった。 W4A4 SmoothQuantは2ビットと2ビットの設定がほぼランダムな動作に崩壊し、W4A4 SmoothQuantは非有限のパープレキシティを生成する。 これらの結果は、OpenPangu量子化設定を選択するためのNPU指向の精度マップを提供し、極端な低ビット圧縮の難しさを強調する。

関連論文リスト

• A Case Study of Selected PTQ Baselines for Reasoning LLMs on Ascend NPU [7.030422837091069]
  トレーニング後の量子化(PTQ)は、Ascend NPU上での効率的なモデル展開に不可欠である。 本稿では,DeepSeek-R1-Distill-Qwenシリーズ(1.5B/7B/14B)やQwQ-32Bといった推論指向モデルに適用したPTQベースラインのケーススタディを示す。 AWQ、GPTQ、SmoothQuant、FlatQuantの4つの異なるアルゴリズムを評価し、重量のみの圧縮から高度な回転法までの範囲をカバーする。
  論文  参考訳（メタデータ） (2026-02-06T09:22:09Z)
• Post-Training Quantization of OpenPangu Models for Efficient Deployment on Atlas A2 [3.309291427648113]
  HuaweiのopenPangu-Embeded-1BとopenPangu-Embeded-7Bは3つの異なるChain-of-Thought(CoT)推論パラダイムを統合している。 これらのCoTモードではメモリとレイテンシのオーバーヘッドが大きくなり、Ascend NPUへの実践的なデプロイが困難になる。 本稿では、FP16計算をより効率的な整数算術に変換する低ビット量子化を利用して、これらの計算制約に対処する。
  論文  参考訳（メタデータ） (2025-12-29T10:50:23Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Matryoshka Quantization [19.46665026740268]
  本稿では,新しいマルチスケール量子化手法であるMatryoshka Quantization(MatQuant)を提案する。 MatQuantを使えば、単一の量子化モデルをトレーニングし、メンテナンスできますが、デプロイによって要求される正確さでそれを提供します。
  論文  参考訳（メタデータ） (2025-02-10T18:59:10Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• QuantTune: Optimizing Model Quantization with Adaptive Outlier-Driven Fine Tuning [16.50084447690437]
  この研究は、これらの精度低下の原因を明らかにし、量子化フレンドリな微調整法である textbfQuantTune を提案している。 提案手法は, ViT, Bert-base, OPT など,トランスフォーマーベースモデルにおけるポストトレーニング量子化の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-03-11T08:09:30Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。