論文の概要: Signed Symmetric Quantization for Few-Bit Integers
- arxiv url: http://arxiv.org/abs/2607.08779v1
- Date: Fri, 12 Jun 2026 17:12:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-19 21:54:20.351753
- Title: Signed Symmetric Quantization for Few-Bit Integers
- Title（参考訳）: 数ビット整数の符号付き対称性量子化
- Abstract要約: 数ビット精度では、正の外れ値のクリッピングが量子化誤差の非自明な源であることが示される。
非対称量子化は、この問題をゼロ点で解決し、グリッドを観測データ範囲にシフトさせる。
符号付き対称量子化は、非対称フォーマットのペナルティを伴わずに、対称量子化のランタイムプロファイルを保持する第3の選択肢として強調する。
- 参考スコア（独自算出の注目度）: 1.3724387144557364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The signed integer alphabet contains one more negative representable value than positive. Yet, by convention, the standard symmetric integer quantizer fixes its scale to be strictly positive, which assigns this extra representable value to the negative tail and can force clipping of positive outliers. In this work, we show that, at few-bit precision, such clipping is a non-trivial source of quantization error. Asymmetric quantization addresses this problem with a zero point, shifting the grid toward the observed data range; however, this flexibility is well-known to carry a runtime penalty. For example, in llama.cpp on an AMD EPYC(TM) "Turin" CPU, a 4-bit symmetric format uses up to 9% less memory with up to 2.45$\times$ higher throughput than its asymmetric counterpart. We highlight signed symmetric quantization as a third option that retains the runtime profile of symmetric quantization without the penalty of the asymmetric format: our signed absmax grid places the extra representable value on the dominant-outlier tail through a principled and lightweight sign selection rule while keeping the zero point at zero. Our theoretical analysis offers two main results. First, we establish the signed absmax grid as conditionally bound-optimal on $\ell_2$ quantization error, and show that the condition holds for 88-99% of weight groups across pre-trained large language models (LLMs) at low bit widths. Second, we show that negating the scale of a standard symmetric quantizer is analytically equivalent to a unit zero point shift on the same signed integer alphabet. We empirically validate our proposal on models from the Qwen3, Qwen3.5, and Llama3 families, and observe improvement in perplexity and downstream few-shot accuracy over the standard unsigned symmetric quantizer at no extra inference cost
- Abstract（参考訳）: 符号付き整数アルファベットは、正よりも1つの負の表現可能な値を含む。
しかし、慣習的に、標準対称整数量子化器はそのスケールを厳密に正に固定し、この余分な表現可能な値を負のテールに割り当て、正の外れ値のクリッピングを強制することができる。
本研究では、数ビット精度で、このようなクリッピングは量子化誤差の非自明な源であることを示す。
非対称量子化は、グリッドを観測されたデータ範囲にシフトさせるというゼロポイントでこの問題に対処するが、この柔軟性は実行時ペナルティを持つことでよく知られている。
例えば、AMD EPYC(TM) "Turin" CPU上のllama.cppでは、4ビット対称フォーマットは最大9%のメモリを消費し、非対称フォーマットよりも最大2.45$\times$高いスループットを持つ。
我々は、非対称フォーマットのペナルティを伴わずに対称量子化のランタイムプロファイルを保持する第3の選択肢として、符号付き対称量子化を強調する: 符号付きabsmaxグリッドは、零点をゼロに保ちながら、原則的かつ軽量な符号選択規則により、支配外尾に余分な表現可能な値を配置する。
我々の理論分析は2つの主要な結果をもたらす。
まず, 符号付きabsmaxグリッドを$\ell_2$量子化誤差の条件境界最適化として確立し, 低ビット幅で事前学習された大言語モデル(LLM)間で88～99%の重み群を有することを示す。
第二に、標準対称量子化器のスケールを否定することは、同じ符号付き整数アルファベット上の単位零点シフトと解析的に等価であることを示す。
我々は、Qwen3、Qwen3.5、Llama3ファミリーのモデルに関する提案を実証的に検証し、余分な推論コストなしで標準符号なし対称量子化器よりも複雑度および下流数ショット精度の向上を観察する。
関連論文リスト
- Blind Symmetry Matching in Quantum States with Application to Shot-Count Reduction [1.3537117504260623]
対称性に適応した基底は、統計的答えを読むのに必要な繰り返しの測定を減少させる。
2つの条件が扱われ、どちらも異なる投射で同じスコアで検出される。
ブラインド対称性マッチング(Blind symmetric matching)は、一致した基底を事前に書き下すことができない場合の実践的なプリミティブである。
論文 参考訳（メタデータ） (2026-06-17T15:36:12Z) - EQE-QAOA: An Equivalence-Preserving Qubit Efficient Framework for Combinatorial Optimization [54.05451096499336]
既存の技術は情報損失のコストで量子ビットの削減に依存しており、計算性能は劣化している。
等価保存量子ビット効率QAOAを提案し、性能を劣化させることなく必要なキュービット数を著しく削減する。
完全独立変数を持つ非制約問題を除いて,大規模最適化問題に広く適用可能であることを示す。
論文 参考訳（メタデータ） (2026-04-20T13:57:49Z) - AXELRAM: Quantize Once, Never Dequantize [0.0]
AXELRAMは、量子化されたKVキャッシュインデックスから直接注目スコアを算出する。
我々は,根本原因をレイヤーワイド標準に追従し,ハードウェアコストゼロの破滅的なスパイクを排除した勾配のない符号パターン選択(200の候補,8のキャリブレーションサンプル,1回)を提案する。
論文 参考訳（メタデータ） (2026-04-03T02:03:38Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Certifying asymmetry in the configuration of three qubits [0.0]
3つの未知の量子ビット状態のブロッホベクトルの構成における非対称性の証明を行う。
我々は任意のミラー対称構成に対して有界な$Q_textmirror$を数値的に導出する。
我々は、公開量子プロセッサにプロトコルを実装した。
論文 参考訳（メタデータ） (2025-06-11T17:06:30Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。
3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。
ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-04T18:59:26Z) - Memory-Efficient 4-bit Preconditioned Stochastic Optimization [53.422307389223626]
シャンプーのプリコンディショナーに4ビット量子化を導入する。
我々の知る限り、これはプレコンディショナーのチョレスキー因子に適用された最初の量子化手法である。
Cholesky量子化とエラーフィードバックを組み合わせることで、メモリ効率とアルゴリズム性能が向上することを示した。
論文 参考訳（メタデータ） (2024-12-14T03:32:54Z) - AFPQ: Asymmetric Floating Point Quantization for LLMs [6.176074875528637]
正値と負値の別スケールを設定する非対称FP量子化(AFPQ)を提案する。
提案手法は精度が向上し, GPTQ や AWQ など他の量子化手法に簡単に接続できる。
非対称整数(INT)量子化と比較して余分なストレージは不要である。
論文 参考訳（メタデータ） (2023-11-03T09:07:09Z) - Towards Antisymmetric Neural Ansatz Separation [48.80300074254758]
反対称関数の2つの基本モデル、すなわち $f(x_sigma(1), ldots, x_sigma(N)) の形の函数 $f$ の分離について研究する。
これらは量子化学の文脈で発生し、フェルミオン系の波動関数の基本的なモデリングツールである。
論文 参考訳（メタデータ） (2022-08-05T16:35:24Z) - Surface Code Design for Asymmetric Error Channels [55.41644538483948]
量子系におけるビットフリップと位相フリップの誤差が非対称であるという事実に基づく表面符号設計を導入する。
我々は、対称曲面符号と比較して、我々の非対称曲面符号は擬似閾値率をほぼ2倍にすることができることを示した。
表面符号の非対称性が増加するにつれて、疑似閾値レートの利点はチャネル内の任意の非対称性の度合いで飽和し始める。
論文 参考訳（メタデータ） (2021-11-02T10:41:02Z) - Avoiding symmetry roadblocks and minimizing the measurement overhead of
adaptive variational quantum eigensolvers [0.0]
強い相関系の量子シミュレーションは、短期量子コンピュータの最も有効な応用である可能性がある。
この目的のための有望なアルゴリズムのクラスは、変分量子固有解法(VQE)からなる。
ここでは、このオーバーヘッドを、元のADAPT-VQEのようにクォート的にではなく、$n$のキュービット数で線形にしか成長しない量に減らすことができることを示す。
論文 参考訳（メタデータ） (2021-09-11T18:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。