論文の概要: Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study

• arxiv url: http://arxiv.org/abs/2606.27785v1
• Date: Fri, 26 Jun 2026 07:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.404196
• Title: Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study
• Title（参考訳）: 校正誘導LDM圧縮における出力空間割当コストの実証的研究
• Abstract要約: 大規模言語モデル(LLM)の訓練不要圧縮法は、圧縮決定を導くのに校正データを使用することが多い。 ROCKETは,スパースディファクチャリファクチャライゼーションとマルチチョイス・クナップサック問題(MCKP)アロケーションを組み合わせた最近の手法で,出力再構成目標から層ごとのファクチャリゼーションを導出する。 出力空間の目的と割り当てコストを一致させることで、圧縮モデル忠実度が向上するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 19.413175066072302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free compression methods for large language models (LLMs) often use calibration data to guide compression decisions. ROCKET, a recent method combining sparse-dictionary factorization with multi-choice knapsack problem (MCKP) allocation, derives its per-layer factorization from an output reconstruction objective but uses weight-space Frobenius error as the MCKP allocation cost. We investigate whether aligning the allocation cost with the output-space objective improves compressed model fidelity. On Qwen3-8B at 50\% compression, our ROCKET-ActCost achieves +0.8 percentage points higher average accuracy across 8 zero-shot benchmarks (53.1\% vs 52.3\%), but increases WikiText perplexity by 16\% (61.46 vs 52.98). This accuracy-perplexity tradeoff reveals that different allocation objectives favor different downstream metrics. The high correlation ($>$0.99) between weight-space and output-space errors limits allocation divergence, explaining the modest effect size. On Llama-3.2-1B at 20\% compression, the two methods produce near-identical results (53.3\% vs 53.5\% accuracy, 14.45 vs 14.66 PPL), suggesting that the effect of the cost function is minor at lower compression ratios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練不要圧縮法は、圧縮決定を導くのに校正データを使用することが多い。 ROCKETは,スパルス次元分解とマルチチョイス・クナップサック問題(MCKP)割り当てを組み合わせた最近の手法で,出力再構成目標から層毎の分解を導出するが,MCKP割り当てコストとして重み空間フロベニウス誤差を用いる。 出力空間の目的と割り当てコストを一致させることで、圧縮モデル忠実度が向上するかどうかを検討する。 Qwen3-8Bの50\%圧縮では、ROCKET-ActCostは8つのゼロショットベンチマーク(53.1\% vs 52.3\%)の平均精度を+0.8パーセント高めるが、WikiTextのパープレキシティは16\%(61.46 vs 52.98)増加する。 この精度と複雑さのトレードオフは、異なる割り当て目的が異なる下流メトリクスを好むことを示している。 重み空間と出力空間の誤差の間の高い相関($0.99)は、割り当てのばらつきを制限し、最も控えめな効果サイズを説明する。 Llama-3.2-1Bの圧縮率20\%では、2つの手法がほぼ同一の結果(53.3\%対53.5\%、14.45対14.66 PPL)を生成し、コスト関数の効果は低い圧縮比で小さいことを示唆している。

関連論文リスト

• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• Compression Trinity: Exploring Sparsity, Quantization, and Low-Rank Approximations for LLM Compression [3.8834605840347654]
  この論文は「圧縮トリニティ(Compression Trinity)」という3つの柱を共同で適用する統一的なフレームワークを提案し、インバージョン削減のための空間性、メモリ帯域幅の最小化のための量子化、精度回復のための低ランク近似を提案する。 その結果, 圧縮トリニティの併用は, 効率, 拡張性, 高性能化に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-25T05:09:07Z)
• ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression [5.280540253822294]
  ROCKETは、因子化、構造化スパーシフィケーション、動的圧縮ベースラインと比較し、最先端の性能を実現する訓練不要なモデル圧縮手法である。 ROCKETは、異なるモデルアーキテクチャにおける既存の圧縮手法を20-50%の圧縮速度で一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-11T16:34:52Z)
• ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection [8.362927764080203]
  キーセントロイドにユークリッド距離でトークンをランク付けする学習自由スコアラを提案する。 ManifoldKVは4K-16Kコンテキストで95.7%の精度を実現し、圧縮率は20%である。 WindowedManifoldKV は 25% 圧縮で 84.3% まで精度を回復し、グローバル L2 では 49 点、キーディフでは +3.2 点を回復する。
  論文  参考訳（メタデータ） (2026-02-09T07:28:55Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
  CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。 CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。 ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
  論文  参考訳（メタデータ） (2025-05-22T16:06:59Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
  SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。 SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。