論文の概要: A Layer Importance Metric for Quantization Accounting for the Speed-Quality Trade-off in Autoregressive Models

• arxiv url: http://arxiv.org/abs/2608.26926v1
• Date: Thu, 27 Aug 2026 10:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.356332
• Title: A Layer Importance Metric for Quantization Accounting for the Speed-Quality Trade-off in Autoregressive Models
• Title（参考訳）: 自己回帰モデルにおける速度-品質トレードオフのための量子化会計のための層重要度指標
• Abstract要約: 小型言語モデル(sLLM)は、メモリと計算予算に制限のあるデバイスにホストされている。 本稿では,情報保持(正規化SQNR係数で測る)とスループットゲインを組み合わせた複合メトリックを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models (sLLMs) are nowadays hosted on devices with limited memory and computational budget. In an autoregressive setup, inference is memory-bandwidth bound: uniform quantization is often detrimental to such models, since their architecture has limited redundancies and only a few layers are not very sensitive to lower precision. We propose a composite metric that combines two orthogonal criteria: information retention (measured in terms of a normalized SQNR-based coefficient) and throughput gains (modeled using a roofline-based latency analysis). By profiling Gemma 3 1B, we find that Feed-Forward Network blocks and the embedding matrix are the most promising targets for acceleration. For each candidate, we estimate a normalized quality score based on simulated quantization and a normalized speed score based on roofline modeling with no actual execution needed. We combine the two scores in a composite priority coefficient, allowing us to tune the trade-off between speed and quality as needed. Our metric is general and can be used to prioritize individual blocks, their projection sublayers, or transformer layers as a whole. We evaluate our approach on several model architectures, showing that our estimates have at around 4% prediction error for the accelerated speedup. We find that our method generally allocates more resources to the most expressive layers compared to evolutionary search, specialized accelerators, or Shapley-value-based approaches that require expensive approximate inference. Our analytical approach makes sLLM quantization a predictable engineering task.
• Abstract（参考訳）: 小型言語モデル(sLLM)は、メモリと計算予算に制限のあるデバイスにホストされている。 均一な量子化はしばしばそのようなモデルに有害である。なぜなら、それらのアーキテクチャは冗長性に制限があり、少数の層だけが低い精度にあまり敏感ではないからである。 本稿では,情報保持(正規化SQNRに基づく係数で測る)とスループットゲイン(屋根線に基づく遅延解析を用いてモデル化する)の2つの直交基準を組み合わせた複合計量法を提案する。 Gemma 3 1Bをプロファイリングすることで、フィードフォワードネットワークブロックと埋め込み行列がアクセラレーションの最も有望なターゲットであることが分かる。 各候補について,シミュレーション量子化に基づく正規化品質スコアと,実際の実行を必要としない屋上モデルに基づく正規化速度スコアを推定する。 2つのスコアを合成優先度係数で組み合わせることで、必要に応じて速度と品質のトレードオフを調整できます。 私たちのメトリクスは一般的なもので、個々のブロック、プロジェクションサブレイヤ、あるいはトランスフォーマー層全体を優先順位付けするのに使用できます。 提案手法をいくつかのモデルアーキテクチャで評価し,高速化時の予測誤差が約4%であることを示す。 提案手法は,進化的探索や専門的加速器,あるいは高価な近似推論を必要とするシェープ値に基づくアプローチと比較して,最も表現力の高い層に資源を割り当てることが一般的である。 我々の分析的アプローチは、sLLM量子化を予測可能なエンジニアリングタスクにする。

関連論文リスト

• Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems [0.0]
  本稿では,リコメンデータシステムにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。 この分解は、コンテキストのみの計算を、元のモデルと同等の1/1の要求から1/1の要求に移行する。 DLRMスタイルのランサーをアーキテクチャ変更せずに生産する場合、分解はポッド当たりのスループットを87.5%向上させる。
  論文  参考訳（メタデータ） (2026-05-24T13:35:36Z)
• A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
  エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。 量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T03:40:30Z)
• QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
  実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。 キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。 我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
  論文  参考訳（メタデータ） (2025-08-06T14:35:59Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
  Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。 モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。 また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
  論文  参考訳（メタデータ） (2025-05-08T00:08:31Z)
• TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
  拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。 本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。 先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
  論文  参考訳（メタデータ） (2023-11-27T12:59:52Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization [7.392278887917975]
  本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。 実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
  論文  参考訳（メタデータ） (2023-06-08T02:18:58Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。