論文の概要: From Attention Sensitivity to Layer Role: Revisiting Mixed-Precision Quantization of Transformers

• arxiv url: http://arxiv.org/abs/2609.34866v1
• Date: Mon, 28 Sep 2026 10:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:07:57.747082
• Title: From Attention Sensitivity to Layer Role: Revisiting Mixed-Precision Quantization of Transformers
• Title（参考訳）: 注意感から層の役割へ:変圧器の混合精度量子化を再考する
• Abstract要約: 目標を3つのプロジェクションすべてに対して一度にアテンションアウトプットに書き、パイプライン全体で再利用します。 Mistral-7Bの注意のみの量子化では、これが機能する。 感度推定を必要としないロールアウェアオフセットルールは、GAT-2と完全なMistral-7BモデルでJABを上回ります。
• 参考スコア（独自算出の注目度）: 30.69790852994036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most post-training quantization pipelines fit each weight matrix to its pretrained counterpart, one matrix at a time. Whether that proxy tracks what an attention block actually computes, or how errors in the Q, K and V projections compound inside the softmax, is rarely checked. We write the objective on the attention output instead, over all three projections at once, and reuse it throughout the pipeline. JAB defines one scalar loss over the joint Q, K, V weights of a block, evaluated against the block's real causally-masked attention output, and uses it twice: to fit the quantized weights (GPTQ warm start, then STE with learnable scales), and to score the block for a multiple-choice knapsack allocation. On attention-only quantization of Mistral-7B this works. At 3 bits JAB recovers 77-90% of the gap between uniform GPTQ and full precision, and its sensitivity estimate tracks an oracle costing 73 forward passes to within a fraction of a point. It stops working once MLP layers enter the allocation. A role-aware offset rule needing no sensitivity estimate at all beats JAB on GPT-2's MLP and on the full Mistral-7B model: with a 3-bit floor it quantizes 96.4% of the weights to 4.5 bits per parameter at 6.933 perplexity, within 4.4% of full precision (6.643) at 3.56x compression, against 7.158 for JAB at the same budget. Which matrix a weight sits in matters more than any sensitivity estimate we computed. Two things came out sideways. Block-local reconstruction is an unreliable proxy for end-to-end perplexity: one run improved a block's own objective 4.6x while perplexity rose 32x, which is why every allocation here is validated end-to-end. And on attention-only quantization, fine-tuning moved weights farther from their pretrained values while pulling attention outputs closer, with net gains. Post-training seems to recover attention behavior, not weights.
• Abstract（参考訳）: トレーニング後の量子化パイプラインの多くは、各重み行列を事前訓練された行列に一度に1つの行列に適合させる。 プロキシがアテンションブロックが実際に何を計算しているかを追跡するか、あるいは、ソフトマックス内のQ、K、Vプロジェクションのエラーがどのようにチェックされるかは、めったにない。 同時に3つのプロジェクションすべてに対して、その目的をアテンションアウトプットに書き、パイプライン全体で再利用します。 JABは、ブロックの関節 Q, K, V 重量に対する1つのスカラー損失を定義し、ブロックの真の因果分解された注意出力に対して評価し、これを2回使用します。 Mistral-7Bの注意のみの量子化では、これが機能する。 3ビットで、JABは均一なGPTQと完全精度のギャップの77-90%を回復し、その感度推定は73フォワードのオラクルが1ポイント以内に通過するのを追跡する。 MLPレイヤがアロケーションに入ると、動作が停止する。 3ビットフロアで96.4%の重量を6.933パープレクシリティでパラメータあたり4.5ビットに量子化し、3.56倍の圧縮で4.4%の精度(6.643)でJABの7.158に対して、GPT-2のMLPと完全なMistral-7BモデルでJABを上回ります。 重みがどの行列にあるかは、私たちが計算したどの感度推定よりも重要である。 2つのことが横に出てきた。 ブロックローカル再構築は、エンドツーエンドのパープレキシティの信頼性の低いプロキシである。一方の実行では、ブロックの目的である4.6倍が改善され、一方のパープレキシティは32倍も上昇した。 そして、注意のみの量子化では、微調整された重量は事前訓練された値から遠く離れ、注意力のアウトプットはより深くなり、純利益は増加した。 トレーニング後の注意行動は重みではなく回復しているようだ。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families [3.556355987197792]
  ポストトレーニングが重み空間幾何学をどう変えるかを研究する。 当社はLinkerLLMという遅延ローダを開発しています。
  論文  参考訳（メタデータ） (2026-08-23T05:15:25Z)
• LegoLM: Structured Weight Sharing for Large Language Models [0.0]
  大規模言語モデルのための構造付き重み共有圧縮フレームワークであるLegoLMを提案する。 LegoLMは2つの障害モードを解決している。 GPT-2 の小型(124M) と Mistral-7B 全体で、LegoLM は Mistral-7B 上の 4.41X 圧縮で +0.03% PPL の劣化を達成する。
  論文  参考訳（メタデータ） (2026-08-09T11:51:14Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• RDQ: Residual Distribution Quantization for Large Language Models [3.7323766833175718]
  大規模言語モデルの学習後の量子化は、4ビット精度以下で急激に低下する。 本稿では、カスケード誤差補償を中心とするPTQフレームワークRDQ(Residual Distribution Quantization)を提案する。 全ての出力は標準グループ-128非対称量子化であり、Qualcomm AIMET、GGUF、およびランタイムオーバーヘッドゼロの標準推論スタックにデプロイ可能である。
  論文  参考訳（メタデータ） (2026-07-11T05:54:00Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• SpinQuant: LLM quantization with learned rotations [49.07335692298487]
  重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。 我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。 本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
  論文  参考訳（メタデータ） (2024-05-26T02:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。