論文の概要: SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness

• arxiv url: http://arxiv.org/abs/2609.01743v1
• Date: Tue, 01 Sep 2026 18:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.803674
• Title: SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness
• Title（参考訳）: SCULPT:ポストトレーニング量子化準備のためのエッジビジョンモデルのトレーニング
• Abstract要約: エッジビジョンモデルは、リソース制約のあるハードウェアにデプロイするのは難しい。 通常のFP32微調整におけるPTQの即応性を改善する訓練時間であるSCULPTを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edge vision models are difficult to deploy on resource-constrained hardware, making low-bit post-training quantization (PTQ) attractive. In practice, standard FP32 training often produces heavy-tailed activation distributions whose outliers destabilize activation quantization: preserving the full range wastes quantization bins on rare extremes, while aggressive clipping causes information loss. Existing solutions typically rely on quantization-aware training (QAT), which adds training complexity and bit-width coupling, or advanced PTQ procedures that repair the model after training. We present SCULPT (Statistical Clipping and Uniform Loss for Post-Training), a training-time method that improves PTQ readiness during ordinary FP32 fine-tuning. SCULPT combines a topology-aware activation regularizer that suppresses quantization-hostile skewness and kurtosis with a stable percentile-based clipping mechanism that learns deployment-ready activation bounds. Unlike QAT, SCULPT does not simulate quantization during optimization; unlike post hoc outlier-repair PTQ methods, it does not require runtime activation transformations. The learned clipping bounds can be exported directly into a standard PTQ workflow for low-bit deployment, including INT8 and lower-bit settings such as W4A8.
• Abstract（参考訳）: エッジビジョンモデルは、リソース制約のあるハードウェア上でのデプロイが困難であり、低ビット後量子化(PTQ)が魅力的である。 実際には、標準的なFP32トレーニングは、アクティベーションの量子化を不安定にするヘビーテールの活性化分布をしばしば生成する: フルレンジの廃棄物の量子化ビンを稀な極端に保存する一方で、アグレッシブなクリッピングは情報損失を引き起こす。 既存のソリューションは通常、トレーニングの複雑さとビット幅の結合を追加する量子化対応トレーニング(QAT)や、トレーニング後のモデルを修復する高度なPTQ手順に依存している。 SCULPT(Statistical Clipping and Uniform Loss for Post-Training)は,通常のFP32微調整におけるPTQの即応性を改善する訓練時間である。 SCULPTは、量子化敵対性スクイーネスとクルトシスを抑制するトポロジー対応のアクティベーションレギュレータと、デプロイ対応のアクティベーション境界を学習する安定したパーセンタイルベースのクリッピング機構を組み合わせる。 QATとは異なり、SCULPTは最適化中に量子化をシミュレートしない。 学習したクリッピングバウンダリは、INT8やW4A8などの低ビット設定を含む、標準のPTQワークフローに直接エクスポートすることができる。

関連論文リスト

• ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization [10.647335642551193]
  後学習量子化(PTQ)は、大規模言語モデルの計算コストを削減するために広く用いられている。 本稿では,この段階でのバックプロパゲーションフリーな固定グリッド精錬法ReQuantを紹介する。 ReQuantは不均一PTQイニシャライザから量子化モデルを一貫して改善することを示す。
  論文  参考訳（メタデータ） (2026-08-07T09:27:14Z)
• ScalePredictor: Instance-aware Scale Learning for Accurate Quantization of Vision Transformers [60.09590321091875]
  トレーニング後の量子化(PTQ)は、最小限のトレーニングオーバーヘッドを持つ小さなキャリブレーションセットを使用してモデルを圧縮することで、魅力的なソリューションを提供する。 既存のPTQ作業の多くは、全てのインスタンスに一様に適用される静的量子化パラダイムを採用している。 本稿では,ViTの高精度かつ効率的な量子化スケール学習のための動的量子化フレームワークであるScalePredictorを提案する。
  論文  参考訳（メタデータ） (2026-06-20T08:33:55Z)
• Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin [13.185423069216808]
  ポストトレーニング量子化は、訓練された完全精度モデルをタスクレベルの再トレーニングなしで低ビット重みに変換する。 PTQは適度なビット幅では効率的で精度が高いが、攻撃的なビット幅では急激に故障することがある。 本稿ではPTQ障害とQAT回復の両方を説明する統一的な幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-06-08T04:21:39Z)
• Colinearity Decay: Training Quantization-Friendly ViTs with Outlier Decay [9.836950534671775]
  Colinearity-Decay (CD) はTransformerブロック内の順序行列対の構造正規化器である。 CDは有害なクロスマトリックスアライメントを罰し、アーキテクチャやタスクロスを変更することなく極端なアクティベーションを緩和する。
  論文  参考訳（メタデータ） (2026-05-02T08:49:51Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• PTQTP: Post-Training Quantization to Trit-Planes for Large Language Models [29.616604431869746]
  大規模言語モデル(LLM)から極低ビット幅への後学習量子化は依然として困難である。 既存のUltra-low-bit PTQ法はバイナリ近似や複雑な補償機構に依存している。 重量行列を構造化三重項 -1, 0, 1 個の三重項平面に分解する最初の三重項 PTQ フレームワークである Trit-Planes (PTQTP) について紹介する。
  論文  参考訳（メタデータ） (2025-09-21T09:07:20Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers [11.452135395287119]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンに必須だが、計算集約性もある。 モデル量子化は、この難しさを軽減することを目的としているが、既存のPTQ(Post-Training Quantization)法とQAT(Quantization-Aware Training)法は、大きな制限を呈している。 本稿では,効率的なVT量子化のための新しいフレームワークであるGPLQ(General, Practical, and Quantization)を紹介する。
  論文  参考訳（メタデータ） (2025-06-13T13:45:17Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization [62.15918574997175]
  言語モデルには、平均値が他のチャネルよりも桁違いに高い外れ値チャネルが含まれていることが知られている。 本稿では,QAT(Quantization-Aware Training)とアクティベーション・カルトシス・正規化(Activation Kurtosis regularization)によって,レイヤの入力を正規化する戦略を提案する。 入力と出力の両方を正規化することは、入力量子化の難しさを重みに"移行"するのを防ぐために重要であることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:25:30Z)
• Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance [53.45700148820669]
  ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。 その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。 そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
  論文  参考訳（メタデータ） (2023-03-23T02:55:50Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。