論文の概要: Perplexity Cost Understates What Activation Quantisation Breaks
- arxiv url: http://arxiv.org/abs/2609.23125v1
- Date: Sat, 19 Sep 2026 16:51:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.684701
- Title: Perplexity Cost Understates What Activation Quantisation Breaks
- Title（参考訳）: アクティベーション量子化が破るパープレキシティコスト
- Abstract要約: 回転ベースでの量子化は、1ブロックの介入でトークン平均3ビットで 0.001 から 0.0.980 の誘導を復元する。
Retrievalは、同じ設定で完全に回復する(0.694)。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation quantisation is usually evaluated with an aggregate metric, perplexity, averaged over every token a model predicts. We ask whether that average identifies which computations a quantiser damages. Perplexity turns out to be a reliable aggregate signal: across 12 models from four families and 780 within-model comparisons, the arm perplexity prefers also retains more induction and more retrieval in all but 2.1 and 4.0 percent of cases respectively. But where perplexity has risen by only a factor of 1.2 to 1.5, induction still keeps 0.959 of its intact accuracy while retrieval has already fallen to 0.554, a gap the aggregate number does not surface. This gap has structure, not just size: a matched Gaussian-noise control of the same per-channel magnitude leaves it largely intact, and randomising only the sign of the quantisation error, every magnitude held fixed, is nearly as harmless, so magnitude alone does not explain the damage. Quantising in a rotated basis, which changes coordinate alignment without changing error magnitude, restores induction from 0.001 to 0.980 at three average bits per token in a single-block intervention, though retrieval recovers less completely at the same setting (0.694); end-to-end at four average bits, induction reaches 0.968 and retrieval 0.534. The pattern holds on two further models up to 32B parameters and, in the deployed configurations we tested, under AWQ once activations are pushed to 4 bits. A perplexity target bounds the average cost of a transformation applied to the activation; it does not, by itself, show which computations survived.
- Abstract（参考訳）: アクティベーション量子化は通常、モデルが予測する全てのトークンに対して平均化された集約計量、パープレキシティで評価される。
我々は、その平均が量子化器の損傷をどの計算で特定するかを問う。
パープレキシティは信頼性の高い集合信号であることが判明し、4つのファミリーの12モデルと780のモデル内比較において、腕のパープレキシティは、それぞれ2.1と4.0のケースを除いて、より誘導力と検索力を保っている。
しかし、パープレキシティが1.2から1.5にしか上昇しない場合、インダクションは依然として0.959の精度を維持し、検索は0.554に低下している。
このギャップは、単に大きさだけでなく構造を持っている:同じチャネルごとの等級の一致したガウスノイズ制御は、ほとんど無傷のままであり、量子化誤差の符号のみをランダム化するが、固定された等級は、ほぼ無害であるので、等級だけでは損傷を説明できない。
1ブロックの介入で1トークン当たり平均3ビットで0.001から0.980まで誘導を復元するが、検索は同時に完全には回復しない(0.694)。
このパターンは、最大32Bパラメータまでの2つのモデルを保持し、私たちがテストしたデプロイ構成では、アクティベーションが4ビットにプッシュされると、AWQの下で動作します。
パープレキシティターゲットは、アクティベーションに適用された変換の平均コストを制限している。
関連論文リスト
- K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models [32.7114174898989]
我々は,デコーダのみの言語モデルにおけるペルソナ制御のための構造化曲面として,K/V-cacheの介入について検討する。
表現レベルのアライメントと行動表現の間には2つの一貫した普遍性があり,また位置摂動下での共通の失敗も報告する。
論文 参考訳（メタデータ） (2026-09-10T02:56:50Z) - Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。
5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。
5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
論文 参考訳（メタデータ） (2026-08-25T03:05:54Z) - Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。
重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。
補償は普遍的よりもトークン効率が高く低予算の勝利である。
論文 参考訳（メタデータ） (2026-08-03T19:44:08Z) - Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳（メタデータ） (2026-08-02T05:58:00Z) - Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。
FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。
Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
論文 参考訳（メタデータ） (2026-07-16T06:47:52Z) - How Much Capacity Does EEG Denoising Need? Ultra-Compact Networks reveal Benchmark Saturation and Metric-Utility Gap [0.0]
深層学習EEG(Deep Learning EEG Denoising Architectures)は、数万から数千万のパラメータに拡張されているが、実験変数としてモデルキャパシティを分離した以前の研究はない。
アーキテクチャ,損失,データ分割,トレーニングレシピの両ギャップに対処し,最小限の深さ分離可能な畳み込みU-Netで1.05Kから40.26Kパラメータまでのチャネル幅を網羅する。
論文 参考訳（メタデータ） (2026-06-07T12:17:25Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
両問題に同時に対処する2ビット共分散行列推定器を提案する。
エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。
提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
論文 参考訳（メタデータ） (2023-08-30T14:31:24Z) - Improving Post Training Neural Quantization: Layer-wise Calibration and
Integer Programming [33.46875527206122]
トレーニング後の量子化法は簡単に使用でき、小さなラベルなしキャリブレーションセットしか必要としない。
ここでは,各層の量子化誤差を最小化することにより,8ビット障壁を破ることを目的とする。
精度の低下やモデル圧縮を抑えながら、各層に最適なビット幅を割り当てる方法を示す。
論文 参考訳（メタデータ） (2020-06-14T16:07:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。