論文の概要: TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
- arxiv url: http://arxiv.org/abs/2610.09969v1
- Date: Wed, 07 Oct 2026 12:39:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.90761
- Title: TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
- Title（参考訳）: TR-PTQ:Taylor領域再構成による高精度整数オンリー変圧器ポストトレーニング量子化
- Abstract要約: ポストトレーニング量子化(PTQ)は効率的なデプロイメントを実現するが、トランスフォーマーアーキテクチャは非線形層のため定量化が難しいままである。
本稿では,共有Taylor Region (TR)指数と対数プリミティブを用いた整数のみの統一定式化であるTR-PTQを紹介する。
このアプローチにより、除算や平方根を含む計算コストの高い演算を、標準的な整数演算によってログドメインで完全に実行できる。
- 参考スコア（独自算出の注目度）: 0.1529342790344802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization (PTQ) enables efficient deployment, yet transformer architectures remain challenging to quantize due to nonlinear layers. While existing methods attribute accuracy loss to insufficient numerical precision, often necessitating floating-point fallbacks, we demonstrate that degradation is actually driven by specific structural error sources. We find that learned scale parameters in normalization layers and compounded approximations in GELU are the primary error contributors, whereas SoftMax remains inherently robust to aggressive quantization. To address these bottlenecks, we introduce TR-PTQ, a unified integer-only formulation using shared Taylor Region (TR) exponential and logarithm primitives. This approach allows computationally expensive operations, including division and square roots, to be performed entirely in the log-domain via standard integer arithmetic. Combined with a calibration-free, outlier-aware optimization for LayerNorm parameters, our method eliminates the need for floating-point hardware units for nonlinearities, achieving less than 1.5\% absolute accuracy degradation across vision and language benchmarks.
- Abstract（参考訳）: ポストトレーニング量子化(PTQ)は効率的なデプロイメントを実現するが、トランスフォーマーアーキテクチャは非線形層のため定量化が難しいままである。
既存の手法では, 精度の低下が不十分であり, 浮動小数点のフォールバックが必要な場合が多いが, 劣化は特定の構造的誤差源によって引き起こされていることを示す。
我々は、正規化層における学習スケールパラメータとGELUにおける複合近似が主要なエラーコントリビュータであるのに対して、SoftMaxはアグレッシブ量子化に対して本質的に堅牢であることを示す。
これらのボトルネックに対処するため、TR-PTQは、共有テイラー領域(TR)指数と対数プリミティブを用いた統一整数のみの定式化である。
このアプローチにより、除算や平方根を含む計算コストの高い演算を、標準的な整数演算によってログドメインで完全に実行できる。
また,LayerNormパラメータのキャリブレーションフリーでアウトリア対応の最適化と組み合わせることで,非線形性のための浮動小数点演算ユニットの必要性を解消し,視覚と言語ベンチマークの絶対精度を1.5倍未満に抑える。
関連論文リスト
- GLF-Q: Global-Local Feature-based Quantization for Vision Transformers [9.836950534671775]
後トレーニング量子化(PTQ)は、再トレーニングせずにビジョントランスフォーマー(ViT)を効率よく圧縮するが、低ビット幅での精度の低下に悩まされる。
既存の最適化に基づくPTQ手法は、ソフトロジットまたは2階ヘッセンプロキシによるブロック再構築を誘導する。
我々は,グローバルローカルな特徴アライメントによってガイドされる新しいPTQフレームワークである textbfGLF-Q を提案する。
論文 参考訳（メタデータ） (2026-09-28T08:16:39Z) - Enabling Fully Integer-Only Inference for Lightweight Detection Transformers [0.19116784879310025]
変形可能な注意、特徴融合、非線形アクティベーション関数を含む重要なコンポーネントは、整数算術と互換性がない。
完全整数のみの軽量DETRであるI-LW-DETRを開発した。
I-LW-DETRは、マルチスケールプロジェクタの各ブランチに独立したアクティベーションスケールを割り当てるスケール保存分割畳み込み、SD-ShiftGELU、精度の低下を回避しつつ要素ワイドな振る舞いを保存するサイン依存GELU近似、安定したソフトマックス正規化を維持する制約付きShiftmaxの3つの主要なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-07-27T18:33:18Z) - IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers [15.498250598583484]
視覚変換器の量子化アウェアトレーニング(QAT)手法は、非線形層量子化における精度損失を回復するために、高価なリトレーニングに依存している。
既存のPTQ(Post-Training Quantization)手法は、非線形関数を部分的に定量化するか、アクティベーション分布を調整して精度を維持するが、完全に整数のみの推論を達成できない。
IPTQ-ViTは、完全に整数のみの視覚変換を行うための新しいPTQフレームワークである。
論文 参考訳（メタデータ） (2025-11-19T11:56:16Z) - Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。
デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。
われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
論文 参考訳（メタデータ） (2025-05-16T12:11:40Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Low-Precision Arithmetic for Fast Gaussian Processes [39.720581185327816]
低精度算術はニューラルネットワークの訓練に変換効果をもたらした。
本稿では,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。
提案手法は, 広範囲な設定において, 低精度での共役勾配の数値安定性と実用性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-07-14T12:20:46Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。