論文の概要: Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization
- arxiv url: http://arxiv.org/abs/2607.00908v1
- Date: Wed, 01 Jul 2026 13:12:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.898012
- Title: Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization
- Title（参考訳）: アクティベーションアライメントを超えて:タスク対応LDM量子化におけるアライメント・ダイバーシティ・トレードオフ
- Abstract要約: キャリブレーションデータ合成と混合精度ビット割り当てを協調的に最適化するためのTAS(Task-Aware Sensitivity Analysis)を提案する。
LLaMA-3-8B と Qwen2.5-7B の実験では精度の反転が明らかにされている。
- 参考スコア（独自算出の注目度）: 36.286359836094086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixed-precision quantization (MPQ) has become a key technique for deploying large language models under stringent memory and compute constraints. We first identify a phenomenon that we term the Perplexity Illusion: layers ranked as important by perplexity-based sensitivity show little rank correlation with those that are most influential for complex reasoning performance, with Kendall $τ\approx 0$ in our analysis. We further reveal an Alignment-Diversity Tradeoff: using only target-task calibration data can degrade post-quantization performance, whereas incorporating general-domain data stabilizes sensitivity estimation and improves robustness across tasks. Based on these observations, we propose TASA (Task-Aware Sensitivity Analysis), a two-level framework that jointly optimizes calibration-data composition and mixed-precision bit allocation. Specifically, TASA searches for a calibration-data mixture using a training-free gradient-trace alignment criterion, and then aggregates perplexity and reasoning-oriented sensitivity signals to guide both inter-layer and intra-layer bit allocation. Experiments on LLaMA-3-8B and Qwen2.5-7B reveal a precision inversion: appropriately allocated 3.5-bit models can match or surpass less task-aware 4-bit baselines. At an average precision of 3.5 bits, TASA matches or outperforms several competitive 4-bit uniform baselines in aggregate accuracy, and improves over the strongest W3 baseline on GSM8K by more than 20 absolute points on LLaMA-3-8B. These results show that calibration-data composition substantially affects task-sensitive quantization, a factor underexplored in prior work.
- Abstract（参考訳）: 混合精度量子化(MPQ)は、文字列メモリと計算制約下で大規模言語モデルをデプロイするための重要な技術となっている。
我々はまず、パープレキシティイリュージョン(Perplexity Illusion)と呼ぶ現象を同定する: パープレキシティに基づく感度によってランク付けされた層は、複雑な推論性能に最も影響を及ぼす層とのランク相関がほとんどなく、Kendall $τ\approx 0$ を解析に用いた。
さらに、ターゲットタスクのキャリブレーションデータのみを使用することで、量子化後の性能を低下させることができるのに対し、汎用ドメインデータの導入は感度推定を安定化させ、タスク間の堅牢性を向上させる。
これらの観測に基づいて、校正データ合成と混合精度ビット割り当てを協調的に最適化する2段階のフレームワークであるTASA(Task-Aware Sensitivity Analysis)を提案する。
具体的には、トレーニング不要な勾配トラスアライメント基準を用いてキャリブレーションデータ混合物を検索し、その後、パープレキシティと推論指向の感度信号を集約し、層間および層間ビット割り当ての両方を誘導する。
LLaMA-3-8B と Qwen2.5-7B の実験では精度の反転が明らかにされている。
3.5ビットの平均精度では、TASAはいくつかの競争力のある4ビットの均一なベースラインを集約精度でマッチまたは上回り、GSM8K上の最強のW3ベースラインをLLaMA-3-8B上で20以上の絶対点で改善する。
これらの結果から, キャリブレーション・データ構成が, 先行研究の過小評価要因であるタスク・センシティブな量子化に大きく影響していることが示唆された。
関連論文リスト
- MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference [36.01709922688871]
MXSensは,カラムとレイヤの感度に基づいて混合マンチサビット幅を割り当てる訓練不要な手法である。
MXSensは、それぞれLLaMA-2-70BとLLaMA-3-8Bの3.77と7.63の難易度を実現し、WikiText-2の既存のベースラインを大幅に改善した。
論文 参考訳（メタデータ） (2026-07-20T09:23:10Z) - FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry [52.232826445242644]
FoundationGeoは空間キャリブレーションと原則データ設計による相対的および計量的予測を橋渡しする。
ステージ1は DINOv3 で初期化することで高忠実なアフィン不変幾何モデルを学ぶ。
ステージ2は、メートル法推定のためのピクセルワイドキャリブレーションフィールドを導入することで、グローバルなスケーリングを越えている。
論文 参考訳（メタデータ） (2026-07-13T14:10:01Z) - KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation [23.028638559051597]
KPGraspは,大規模データから事前の詳細な把握を学習するフローマッチングフレームワークである。
20の多様なオブジェクトに対する実験は、パイプラインを現実世界のセットアップでデプロイできることを示しています。
論文 参考訳（メタデータ） (2026-06-08T10:19:29Z) - CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。
CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。
LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文 参考訳（メタデータ） (2025-10-21T16:33:57Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - IMPQ: Interaction-Aware Layerwise Mixed Precision Quantization for LLMs [4.655407920049974]
混合精度量子化は説得力のある解であるが、従来の方法では平均精度が4ビット以下に低下する。
本稿では,これらの制約に対処する2つのイノベーションを提案する。
まず,混合精度量子化問題を階層間の協調ゲームとして構成し,Shapley-based Progressive Quantization Estimation (SPQE)を導入する。
次に、これらのShapley推定値を2次最適化形式に変換する対話型混合精度量子化(IMPQ)を提案する。
論文 参考訳（メタデータ） (2025-09-18T21:59:40Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition [21.13478769431063]
QUID(Quantization with Activation Decomposition)は、Singular Value Decomposition(SVD)を利用して、有効4ビット量子化のためのアクティベーションアウトリアを抑制するフレームワークである。
W4A4の量子化では94パーセントの精度、W4A4/A8では98%の精度、Llama-3およびQwen-2.5モデルのパラメータ効率の微調整を実現している。
論文 参考訳（メタデータ） (2025-03-25T05:03:56Z) - GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。
我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。
GAQATフレームワークの有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-12-07T06:07:21Z) - On Calibration of Modern Quantized Efficient Neural Networks [79.06893963657335]
キャリブレーションの質は、量子化の質を追跡するために観察される。
GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。
論文 参考訳（メタデータ） (2023-09-25T04:30:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。