論文の概要: Compression Trinity: Exploring Sparsity, Quantization, and Low-Rank Approximations for LLM Compression
- arxiv url: http://arxiv.org/abs/2608.24070v1
- Date: Tue, 25 Aug 2026 05:09:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.816835
- Title: Compression Trinity: Exploring Sparsity, Quantization, and Low-Rank Approximations for LLM Compression
- Title（参考訳）: 圧縮トリニティ:LLM圧縮のスパーシリティ,量子化,低ランク近似の探索
- Abstract要約: この論文は「圧縮トリニティ(Compression Trinity)」という3つの柱を共同で適用する統一的なフレームワークを提案し、インバージョン削減のための空間性、メモリ帯域幅の最小化のための量子化、精度回復のための低ランク近似を提案する。
その結果, 圧縮トリニティの併用は, 効率, 拡張性, 高性能化に不可欠であることが示唆された。
- 参考スコア（独自算出の注目度）: 3.8834605840347654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prohibitive computational and environmental costs impede the scalable deployment of Large Language Models (LLMs). Traditional compression techniques (sparsity, quantization, low-rank approximations) are typically applied in isolation, and each hits an accuracy-efficiency wall. This thesis proposes the "Compression Trinity," a unified framework that applies the three pillars jointly: sparsity to reduce computation, quantization to minimize memory bandwidth, and low-rank approximations to recover accuracy. To accelerate pretraining, we apply the Trinity to the optimizer and model architecture. MKOR approximates curvature via block-diagonal sparsity and low-rank inversion, maintaining numerical stability for quantized states; it reduces curvature update complexity from $O(d^3)$ to $O(d^2)$ and accelerates convergence by up to 1.85x over KFAC. SLoPe accelerates training by up to 1.25x via a double-pruned backward pass for N:M sparsity, using low-rank "lazy" adapters in the final 1% of training to recover accuracy. For post-training compression, OPTIMA stabilizes static masks in a zero-training regime by formulating weight reconstruction as globally optimal column-wise quadratic programs, improving zero-shot accuracy by up to 3.97%. Given a fine-tuning budget, PATCH breaks the ceiling of static masks by learning a dynamic hybrid sparsity ratio between 0% and 50%, yielding up to 1.38x speedups. Finally, SLiM realizes the full Compression Trinity in one shot, using mathematically derived low-rank adapters to recover information lost to quantization and sparsity, improving accuracy by up to 5.66% over state-of-the-art methods and outperforming uncompressed dense models at equal parameter budgets by 0.6%. Together, these results show that jointly applying the Compression Trinity is essential for efficient, scalable, high-performance LLMs.
- Abstract（参考訳）: 計算および環境コストの抑制は、大規模言語モデル(LLM)のスケーラブルな展開を妨げる。
従来の圧縮技術(スパーシリティ、量子化、低ランク近似)は、通常孤立して適用され、それぞれが精度の高い壁を打つ。
この論文は「圧縮トリニティ(Compression Trinity)」という3つの柱を共同で適用する統一的なフレームワークを提案し、計算量を減らすための空間性、メモリ帯域幅を最小化するための量子化、精度回復のための低ランク近似を提案する。
事前学習を加速するために、最適化とモデルアーキテクチャにトリニティを適用する。
MKORはブロック対角幅と低ランク反転による曲率を近似し、量子化された状態の数値安定性を維持し、曲率更新の複雑さを$O(d^3)$から$O(d^2)$に減らし、KFAC上で最大1.85倍の収束を加速する。
SLoPeは、トレーニングの最終1%で低ランクの"遅延"アダプタを使用して、N:Mスパシティのダブルプルバックパスを介して、最大1.25倍のトレーニングを高速化する。
後処理後の圧縮のために、OPTIMAは、重量再構成をグローバルに最適なカラムワイド2次プログラムとして定式化し、ゼロショット精度を最大3.97%向上させることにより、ゼロトレーニング方式の静的マスクを安定化させる。
微調整の予算が与えられた後、PATCHは0%から50%の動的ハイブリッド空間比を学習することで静的マスクの天井を破り、最大1.38倍のスピードアップをもたらす。
最後に、SLiMは1ショットで完全な圧縮トリニティを実現し、数学的に導出された低ランクのアダプタを使用して量子化とスパーシリティに損失した情報を復元し、最先端の手法よりも最大5.66%の精度を向上し、同じパラメータの予算で圧縮されていない高密度モデルより0.6%の精度で性能を向上した。
これらの結果から, 圧縮トリニティの併用は, 効率, 拡張性, 高性能化に不可欠であることが示唆された。
関連論文リスト
- Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。
LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。
ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
論文 参考訳（メタデータ） (2026-09-14T16:36:46Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization [15.401450705732232]
ターナライゼーションは有望な圧縮技術として登場した。
既存の方法は重み付き活性化分布に苦しむ。
我々は1.58ビットの重み圧縮と4ビットのアクティベーション量子化を実現するフレームワークであるTWLAを提案する。
論文 参考訳（メタデータ） (2026-06-11T08:37:20Z) - QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。
しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。
本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
論文 参考訳（メタデータ） (2026-05-21T11:38:52Z) - Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる
既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。
本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-09T06:57:15Z) - OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction [12.653025902977001]
トレーニング後のモデルプルーニングは有望なソリューションだが、ゼロウェイトは高速だが精度は劣化しているというトレードオフに直面している。
SparseGPTのようなワンショット方式は、効率的で近似的な重み更新を適用することで、最適化の実践的なトレードオフを提供する。
OPTIMAは,精度とスケーラビリティのバランスを保ちながら,実践的なワンショット・ポストトレーニング・プルーニング手法である。
論文 参考訳（メタデータ） (2025-12-15T20:41:29Z) - EcoSpa: Efficient Transformer Training with Coupled Sparsity [79.5008521101473]
トランスフォーマーは現代のAIのバックボーンとなっているが、その高い計算要求は重要なシステム課題を引き起こしている。
EcoSpaは、結合した重み行列対を共同で評価し、スパース化する効率的な構造的スパース訓練法である。
論文 参考訳（メタデータ） (2025-11-09T11:23:43Z) - Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [57.71917274869577]
UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。
UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
論文 参考訳（メタデータ） (2025-05-19T10:37:22Z) - Lillama: Large Language Models Compression via Low-Rank Feature Distillation [8.090496457850852]
ライラマ(英: Lillama)は、低ランク重量で活性化を蒸留する圧縮法である。
1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を保持した。
非トランスフォーマーアーキテクチャを一般化し、99%のパフォーマンスを維持しながら、Mamba-3Bを20%圧縮する。
論文 参考訳（メタデータ） (2024-12-21T18:04:01Z) - EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。
EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
論文 参考訳（メタデータ） (2024-10-28T17:59:03Z) - SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。
SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
論文 参考訳（メタデータ） (2024-10-12T18:36:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。