論文の概要: Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2605.16423v1
• Date: Thu, 14 May 2026 14:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.392727
• Title: Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization
• Title（参考訳）: 非線形双極補償:後の量子化における外乱の扱い
• Authors: Peilin Sun, Jianxin Wu,
• Abstract要約: ネットワーク量子化は、浮動小数点数を低ビット表現にマッピングすることで、モデルのメモリと計算消費を大幅に削減する。 既存の量子化法は通常、速度精度のトレードオフと限定的な一般化に悩まされる。 本稿では, 非線形補償を導入し, 外れ値の影響を低減させるポストトレーニング量子化手法であるBipolar Compensation (NBC)を提案する。
• 参考スコア（独自算出の注目度）: 11.76317251442695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network quantization has emerged as one of the most practical model compression techniques, which significantly reduces a model's memory and compute consumption by mapping floating-point numbers to low-bit representations. However, existing quantization methods typically suffer from the speed-accuracy tradeoff and limited generalization. To address these issues, recent compensation-based methods offer an efficient yet general solution by introducing additional lightweight linear layers into the quantized network. However, the accuracy of these methods suffers from their limited compensation capability and high sensitivity to outliers. In this paper, we propose Nonlinear Bipolar Compensation (NBC), a post-training quantization approach that introduces nonlinear compensation to reduce the effect of outliers. We further design Bipolar Logarithmic Transformation (BLT), which compresses outliers by mapping both the quantized input and the quantization error into a transformed space. A simple linear layer is then applied for compensation in the transformed space, preserving the efficiency of our method. Extensive experiments across various tasks, models, and quantization methods confirm the effectiveness, efficiency, robustness, and generality of our NBC approach.
• Abstract（参考訳）: ネットワーク量子化は、浮動小数点数を低ビット表現にマッピングすることで、モデルのメモリと計算消費を大幅に削減する、最も実用的なモデル圧縮手法の1つである。 しかし、既存の量子化法は通常、速度精度のトレードオフと限定的な一般化に悩まされる。 これらの問題に対処するため、近年の補償に基づく手法は、量子化されたネットワークに新たな軽量線形層を導入することにより、効率的で汎用的な解決策を提供する。 しかし, これらの手法の精度は, 限られた補償能力と, 外れ値に対する高い感度に悩まされている。 本稿では, 非線形二極補償(NBC)を提案する。この手法は, 非線形補償を導入し, 外れ値の影響を低減させる。 さらに、量子化入力と量子化誤差の両方を変換空間にマッピングすることで、外周を圧縮する双極対数変換(BLT)を設計する。 次に、簡単な線形層を変換空間の補償として適用し、本手法の効率性を保つ。 様々なタスク、モデル、量子化手法にわたる大規模な実験により、NBCのアプローチの有効性、効率性、堅牢性、一般性が確認された。

関連論文リスト

• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Robust Training of Neural Networks at Arbitrary Precision and Sparsity [15.121043556313689]
  本稿では,原理的リッジ回帰目標から導かれるデノナイジング・デクエント化変換を導入する。 我々は、この原理を、重要でない値を0にマッピングする特別な量子化の形式として見ることにより、スパーシフィケーションに拡張する。 このアプローチは最先端の結果をもたらし、理論上は高効率ニューラルネットワークへの経路を提供する。
  論文  参考訳（メタデータ） (2024-09-14T00:57:32Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,不均衡な活性化分布を量子化困難の原因として同定する。 我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。 本手法は3つの高解像度画像生成タスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• Towards Mixed-Precision Quantization of Neural Networks via Constrained Optimization [28.76708310896311]
  本稿では,混合精度量子化問題を解くための原理的枠組みを提案する。 提案手法は原理的手法で導出され,より計算効率がよいことを示す。
  論文  参考訳（メタデータ） (2021-10-13T08:09:26Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。