論文の概要: GroupMask: Layer-Adaptive Group-wise Sparsity for Semi-Structured LLM Pruning

• arxiv url: http://arxiv.org/abs/2609.33977v1
• Date: Sun, 27 Sep 2026 22:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:09:32.469057
• Title: GroupMask: Layer-Adaptive Group-wise Sparsity for Semi-Structured LLM Pruning
• Title（参考訳）: GroupMask:セミ構造化LDMプロセスにおける層適応型グループワイドスポーサリティ
• Abstract要約: 層適応型スパシティアロケーションは非構造的プルーニングを改善するが、N:Mスパシティでは効果が低いと報告されている。 本稿では,軽量なハイパーネットワークで全レイヤのグループセレクタを生成するGroupMaskを提案する。 GroupMaskはLLaMA-2-7B上でのWikiText-2の難易度が最も低く、Alpacaキャリブレーションによるゼロショットの精度が最も高い。
• 参考スコア（独自算出の注目度）: 46.51908529519816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-structured pruning compresses large language models (LLMs) while keeping a regular sparse structure, but the prevailing N:M pattern fixes the same local sparsity ratio in every layer. Layer-adaptive sparsity allocation improves unstructured pruning, yet it has been reported to be less effective under N:M sparsity, leaving open whether adaptive allocation is of limited value for semi-structured pruning in general or only under the fine-grained N:M pattern. We examine this question with group-level sparsity, which partitions each weight matrix into regular groups, retains or prunes each group as a whole, and allows each layer's sparsity ratio to vary under a global budget. We propose GroupMask, which generates the group selectors of all layers with a lightweight hypernetwork, relaxes them with a Gumbel-Sigmoid parameterization and a straight-through estimator, and learns them through sparsity-budget regularization and self-distillation while keeping the pretrained weights frozen. On LLaMA-2-7B at 50% sparsity with the same $1\times256$ group size, learned layer-adaptive allocation reduces WikiText-2 perplexity from 10.02 to 8.30 and raises the average zero-shot accuracy from 0.455 to 0.496 relative to a uniform per-layer ratio. GroupMask obtains the lowest WikiText-2 perplexity on LLaMA-2-7B and the highest average zero-shot accuracy with Alpaca calibration among the evaluated baselines on five LLaMA and Qwen models. Our code is available at https://github.com/ZhengaoLi/GroupMask.
• Abstract（参考訳）: 半構造化プルーニングは、通常のスパース構造を維持しながら大きな言語モデル(LLM)を圧縮するが、一般的なN:Mパターンは各層で同じ局所空間比を固定する。 層適応型スパシティアロケーションは非構造的プルーニングを改善するが、N:Mスペーシングでは効果が低いことが報告されている。 この問題を,各重み行列を正規群に分割し,各群を全体として保持またはプーンし,各層の疎度比をグローバル予算で変化させるグループレベルの疎度を用いて検討する。 軽量なハイパーネットワークを用いて全層のグループセレクタを生成し,Gumbel-Sigmoidパラメータ化とストレートスルー推定器を用いてそれらを緩和し,事前学習した重量を凍結しながら,空間予算の正規化と自己蒸留により学習するグループマスクを提案する。 LLaMA-2-7Bでは、同じ1\times256$のグループサイズで50%の間隔で、学習層適応割り当てによりWikiText-2の難易度は10.02から8.30に減少し、一様層当たり平均ゼロショット精度は0.455から0.496に上昇する。 GroupMaskは、LLaMA-2-7B上でのWikiText-2の難易度が最も低く、5つのLLaMAモデルとQwenモデルで評価されたベースラインのうち、Alpacaキャリブレーションによるゼロショット精度が最も高い。 私たちのコードはhttps://github.com/ZhengaoLi/GroupMask.comから入手可能です。

関連論文リスト

• Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling [6.232269207752904]
  半構造化$N$:$M$スパシティは、大規模言語モデル(LLM)を加速するための実践的な方向として登場した。 本稿では,半構造化された軽量プルーニングフレームワークであるReservoir of Importance (RoI)を提案する。 RoIは、強力なメモリ効率、安定性、スケーラビリティで競争力のあるパフォーマンスを実現し、より積極的な$N$:$M$スパシティパターンを実現します。
  論文  参考訳（メタデータ） (2026-08-24T09:54:24Z)
• LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models [19.274512633962086]
  未構造化プルーニングの最先端手法は、最適脳サージオン原理から導かれる階層的なサロゲートである。 本稿では,この難易度パラメータ化をBernoulli-via-Gumbelシグモイド緩和法に置き換えるLEAPを提案する。 0.5Bから8Bパラメータの50%と60%の間隔で5つのLLMファミリーにまたがって、LEAPは6タスク平均ゼロショット精度をADMM平均で2.59ポイント改善する。
  論文  参考訳（メタデータ） (2026-05-17T07:01:13Z)
• GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning [57.888537648437115]
  Group Context Optimization (GroupCoOp) は、単純で効果的な微調整アルゴリズムである。 微調整視覚言語モデル(VLM)の群ロバスト性を高める GroupCoOpは、5つのCLIPアーキテクチャにわたる5つのベンチマークで最高の結果を得た。
  論文  参考訳（メタデータ） (2025-09-28T09:54:30Z)
• Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
  大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
  論文  参考訳（メタデータ） (2025-06-01T15:30:37Z)
• TRIM: Achieving Extreme Sparsity with Targeted Row-wise Iterative Metric-driven Pruning [24.98742538077939]
  LLM(Large Language Models)は、その規模が大きいため、計算と記憶に重大な課題がある。 既存のワンショットプルーニング手法は、層間または各層内で均一なスペーサ性制約を適用することが多い。 この研究は、各層内の個々の出力次元(ロウ)に様々な空間比を適用する新しいアプローチを導入している。
  論文  参考訳（メタデータ） (2025-05-22T14:53:53Z)
• Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
  Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。 LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。 LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-20T18:37:32Z)
• MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models [87.64417894918506]
  この研究は、大規模言語モデルにおける半構造化(あるいはN:M'')のスパーシティを確立する学習可能なプルーニング手法であるMaskLLMを紹介した。 MaskLLMはGumbel Softmaxサンプリングを通じて学習可能な分布としてN:Mパターンを明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-09-26T02:37:41Z)
• ADMM Based Semi-Structured Pattern Pruning Framework For Transformer [4.02487511510606]
  本稿では,アクティベーションマップの分布を再構成する,ADMM(Alternating Direction Method of Multipliers)に基づくパターン解析フレームワークを提案する。 GLUEデータセット上の分類タスクについて広範な実験を行った。 GLUEデータセットの総合スコア80.1を維持しながら圧縮率50%を達成した。
  論文  参考訳（メタデータ） (2024-07-11T09:35:08Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。