Fugu-MT 論文翻訳(概要): IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers

論文の概要: IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers

arxiv url: http://arxiv.org/abs/2511.15369v1
Date: Wed, 19 Nov 2025 11:56:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-20 15:51:28.787459
Title: IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers
Title（参考訳）: IPTQ-ViT: Integer-only Vision Transformersのための非線形関数の学習後量子化
Authors: Gihwan Kim, Jemin Lee, Hyungshin Kim,
Abstract要約: 視覚変換器の量子化アウェアトレーニング(QAT)手法は、非線形層量子化における精度損失を回復するために、高価なリトレーニングに依存している。既存のPTQ(Post-Training Quantization)手法は、非線形関数を部分的に定量化するか、アクティベーション分布を調整して精度を維持するが、完全に整数のみの推論を達成できない。 IPTQ-ViTは、完全に整数のみの視覚変換を行うための新しいPTQフレームワークである。
参考スコア（独自算出の注目度）: 15.498250598583484
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Previous Quantization-Aware Training (QAT) methods for vision transformers rely on expensive retraining to recover accuracy loss in non-linear layer quantization, limiting their use in resource-constrained environments. In contrast, existing Post-Training Quantization (PTQ) methods either partially quantize non-linear functions or adjust activation distributions to maintain accuracy but fail to achieve fully integer-only inference. In this paper, we introduce IPTQ-ViT, a novel PTQ framework for fully integer-only vision transformers without retraining. We present approximation functions: a polynomial-based GELU optimized for vision data and a bit-shifting-based Softmax designed to improve approximation accuracy in PTQ. In addition, we propose a unified metric integrating quantization sensitivity, perturbation, and computational cost to select the optimal approximation function per activation layer. IPTQ-ViT outperforms previous PTQ methods, achieving up to 6.44\%p (avg. 1.78\%p) top-1 accuracy improvement for image classification, 1.0 mAP for object detection. IPTQ-ViT outperforms partial floating-point PTQ methods under W8A8 and W4A8, and achieves accuracy and latency comparable to integer-only QAT methods. We plan to release our code https://github.com/gihwan-kim/IPTQ-ViT.git.
Abstract（参考訳）: ビジョントランスフォーマーの従来のQAT(Quantization-Aware Training)手法は、非線形層量子化の精度損失を回復するために高価なリトレーニングに依存しており、リソース制約のある環境での使用を制限する。対照的に、既存のPTQ(Post-Training Quantization)手法は、非線形関数を部分的に定量化するか、アクティベーション分布を調整して精度を維持するが、完全に整数のみの推論を達成できない。本稿では、完全に整数のみの視覚変換を行うための新しいPTQフレームワークであるPTQ-ViTを紹介する。視覚データに最適化された多項式ベースのGELUと、PTQの近似精度を改善するために設計されたビットシフトベースのSoftmaxを提案する。さらに,アクティベーション層毎の最適近似関数を選択するために,量子化感度,摂動,計算コストを統合した統一計量法を提案する。 IPTQ-ViTは従来のPTQ法よりも優れており、最大6.44\%p (avg) に達する。 1.78\%p) 画像分類におけるトップ1の精度向上、物体検出のための1.0mAP。 IPTQ-ViTは、W8A8およびW4A8の下で部分浮動小数点PTQ法より優れ、整数のみのQAT法に匹敵する精度とレイテンシを実現する。コード https://github.com/gihwan-kim/IPTQ-ViT.git をリリースする予定です。

関連論文リスト

Cat: Post-Training Quantization Error Reduction via Cluster-based Affine Transformation [47.791962198275066]
Post-Training Quantization (PTQ)は、フル精度(FP)値を量子化および圧縮データタイプに変換することにより、ディープニューラルネットワークのメモリフットプリントと計算オーバーヘッドを低減する。 PTQはQAT(Quantization-Aware Training)よりもコスト効率が高いが、低ビット量子化条件下での精度劣化に非常に敏感である。本稿ではクラスタベースのアフィン変換(CAT)を提案する。クラスタ固有のパラメータを用いて,LQ出力をFP出力と整合させる。
論文参考訳（メタデータ） (2025-09-30T14:00:28Z)
PTQTP: Post-Training Quantization to Trit-Planes for Large Language Models [29.616604431869746]
大規模言語モデル(LLM)から極低ビット幅への後学習量子化は依然として困難である。既存のUltra-low-bit PTQ法はバイナリ近似や複雑な補償機構に依存している。重量行列を構造化三重項 -1, 0, 1 個の三重項平面に分解する最初の三重項 PTQ フレームワークである Trit-Planes (PTQTP) について紹介する。
論文参考訳（メタデータ） (2025-09-21T09:07:20Z)
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文参考訳（メタデータ） (2025-08-21T01:18:27Z)
GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers [11.452135395287119]
ビジョントランスフォーマー(ViT)はコンピュータビジョンに必須だが、計算集約性もある。モデル量子化は、この難しさを軽減することを目的としているが、既存のPTQ(Post-Training Quantization)法とQAT(Quantization-Aware Training)法は、大きな制限を呈している。本稿では,効率的なVT量子化のための新しいフレームワークであるGPLQ(General, Practical, and Quantization)を紹介する。
論文参考訳（メタデータ） (2025-06-13T13:45:17Z)
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
論文参考訳（メタデータ） (2025-06-13T07:57:38Z)
APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
論文参考訳（メタデータ） (2025-04-03T11:48:56Z)
FP4DiT: Towards Effective Floating Point Quantization for Diffusion Transformers [15.324769026957641]
トレーニング後の量子化は、トレーニングや微調整を必要とせず、負担を軽減するための軽量な方法である。 W4A6量子化を実現するために浮動小数点量子化を利用するPTQ法であるFP4DiTを導入する。 FP4DiTは整数ベースのPTQをW4A6およびW4A8精度で上回ることを示した。
論文参考訳（メタデータ） (2025-03-19T17:44:21Z)
AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文参考訳（メタデータ） (2024-07-17T18:38:48Z)
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs [39.410068572891475]
後トレーニング量子化(PTQ)はモデル圧縮の強力な技術であり、追加のトレーニングオーバーヘッドなしにニューラルネットワークの数値精度を低下させる。近年,モデル推論におけるPTQの文脈における8ビット浮動小数点形式(FP8)の適用について検討している。本稿では,モデルのメモリフットプリント,レイテンシ,エネルギーコストをさらに削減できる,精度の低い浮動小数点形状のミニフロートを提案する。
論文参考訳（メタデータ） (2023-11-21T05:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。