論文の概要: Hierarchical Sparse Plus Low Rank Compression of LLM

• arxiv url: http://arxiv.org/abs/2601.07839v1
• Date: Fri, 19 Dec 2025 04:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.644122
• Title: Hierarchical Sparse Plus Low Rank Compression of LLM
• Title（参考訳）: LLMの階層的スパースプラス低ランク圧縮
• Authors: Pawan Kumar, Aditi Gupta,
• Abstract要約: HSS圧縮(Hierarchical Sparse Plus Low-Rank compression, HSS)は, 最大磁度重みをスパース行列Sに除去する2段階のスキームである。 HSSはハードウェアフレンドリーであり、行列ベクトル乗算は1つのスパースと細い行列乗算に還元される。 LLaMA-7Bの実験では、自己アテンションプロジェクションのみを対象としていると、大きなメモリ節約が得られる。
• 参考スコア（独自算出の注目度）: 2.4311207322523023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language models (LLMs) place extraordinary pressure on memory and compute budgets, making principled compression indispensable for both deployment and continued training. We present Hierarchical Sparse Plus Low-Rank (HSS) compression, a two-stage scheme that (i) removes the largest-magnitude weights into a sparse matrix S and (ii) applies a recursive Hierarchically Sparse Separable (HSS) low-rank factorisation to the dense residual matrix. A recursive rank-reducing strategy and a reverse Cuthill-Mckee (RCM) permutation are introduced to align high weights towards the diagonal with the block-diagonal hierarchy, maximising off-diagonal compressibility (because they are touched only once). HSS is hardware-friendly: its matrix-vector multiply reduces to one sparse and a sequence of thin-matrix multiplications and can be trained end-to-end with standard optimisers. Experiments on LLaMA-7B show that targeting only the self-attention projections (1.6 B parameters of Q, K, and V matrices out of a total 7B parameters) suffices to yield large memory savings while retaining comparable state-of-the-art perplexity scores on test samples of the WikiText dataset. For example, with a 30\% sparsity budget and an outer rank of 512, sHSS-RCM achieves a perplexity of 1.64, outperforming dense baselines and classical sparse-plus-SVD variants, while also achieving significant memory savings.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、メモリと計算予算に異常なプレッシャーを課し、デプロイメントと継続的なトレーニングの両方に、原則化された圧縮が不可欠である。 階層スパースプラス低ランク圧縮(HSS)について述べる。 (i)最大のマグニチュード重みをスパース行列Sに除去し、 (ii) 再帰的階層的スパース分離性 (HSS) 低ランク分解を高密度残留行列に適用する。 再帰的なランク低減戦略と逆のカットヒル・マッケ(RCM)置換を導入し、高い重みを対角線と対角線階層に整列させ、対角線外圧縮性を最大化する。 HSSはハードウェアフレンドリーであり、行列ベクトル乗算は1つのスパースと1つの細い行列乗算に還元され、標準オプティマイザでエンドツーエンドにトレーニングすることができる。 LLaMA-7Bの実験では、WikiTextデータセットのテストサンプルでは、自己注意投影(Q、K、V行列の1.6Bパラメータのうち、合計7Bパラメータ)のみを対象として、同等の最先端のパープレキシティスコアを保持しながら、大きなメモリ節約を達成できた。 例えば、30\%のスパシティ予算と512の外部ランクを持つsHSS-RCMは、1.64のパープレキシティを実現し、密度の高いベースラインと古典的なスパース+SVDのバリエーションを上回り、メモリの大幅な節約を実現している。

関連論文リスト

• Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering [0.0]
  予測された共同SVD圧縮誤差がユーザ指定しきい値以下である場合にのみ、行列をマージする3つのクラスタリングアルゴリズムを提案する。 アルゴリズムは、スピード、証明可能な精度、スケーラビリティのトレードオフにまたがっており、明示的なエラー制御を備えた圧縮対応クラスタリングを可能にしている。
  論文  参考訳（メタデータ） (2026-01-12T18:15:53Z)
• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• BOLT: Block-Orthonormal Lanczos for Trace estimation of matrix functions [2.4578723416255754]
  多くの大規模アプリケーションでは、関連する行列が大きすぎて完全に保存またはアクセスできないため、単一のマットベック製品が実現不可能である。 本稿では,小さな主行列のみで動作するBOLTの変種であるSubblock SLQを紹介する。 理論的な保証を提供し、高次元設定の範囲で強い経験的性能を示す。
  論文  参考訳（メタデータ） (2025-05-18T08:04:05Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
  提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。 微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-20T18:57:41Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。