論文の概要: GPrune-LLM: Generalization-Aware Structured Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2603.13418v1
• Date: Thu, 12 Mar 2026 19:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.18231
• Title: GPrune-LLM: Generalization-Aware Structured Pruning for Large Language Models
• Title（参考訳）: GPrune-LLM:大規模言語モデルのための一般化型構造化プルーニング
• Authors: Xiaoyun Liu, Divya Saxena, Jiannong Cao, Yuqing Zhao, Yiying Dong, Penghui Ruan,
• Abstract要約: 一般化型構造化プルーニングフレームワークであるGPrune-LLMを提案する。 まず、ニューロンを行動整合モジュールに分割し、ランキング競争をローカライズする。 アクティベーションベースのスコアリングが信頼できないモジュールに対しては、アクティベーション非依存メトリックに切り替える。
• 参考スコア（独自算出の注目度）: 17.33640761554548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning is widely used to compress large language models (LLMs), yet its effectiveness depends heavily on neuron importance estimation. Most existing methods estimate neuron importance from activation statistics on a single calibration dataset, which introduces calibration bias and degrades downstream cross-task generalization. We observe that neurons exhibit heterogeneous distribution sensitivity, with distribution-robust neurons maintaining consistent rankings across datasets and distribution-sensitive neurons showing high cross-dataset ranking variance. Based on this, we identify two structural limitations in existing methods. First, ranking all neurons within a shared space causes distribution-sensitive neurons that strongly activate on calibration inputs to dominate, crowding out distribution-robust neurons critical for out-of-distribution tasks. Second, applying activation-based importance metrics uniformly can be unreliable. Distribution-sensitive neurons that infrequently activate on calibration data receive insufficient activation signal for accurate local ranking. To address these limitations, we propose GPrune-LLM, a generalization-aware structured pruning framework that explicitly accounts for neuron differences in cross-distribution behavior. We first partition neurons into behavior-consistent modules to localize ranking competition, then evaluate activation-based metric reliability per module according to distribution sensitivity and score magnitude. For modules where activation-based scoring is unreliable, we switch to an activation-independent metric. Finally, we adaptively learn module-wise sparsity. Extensive experiments across multiple downstream tasks demonstrate GPrune-LLM's consistent improvements in post-compression generalization, particularly at high sparsity, and reduced dependence on importance metric choice.
• Abstract（参考訳）: 構造化プルーニングは大規模言語モデル(LLM)の圧縮に広く用いられているが、その有効性はニューロンの重要度推定に大きく依存している。 既存のほとんどの手法では、単一のキャリブレーションデータセット上での活性化統計からニューロンの重要性を推定し、キャリブレーションバイアスを導入し、下流のクロスタスクの一般化を低下させる。 本研究は, ニューロンが不均一な分布感度を示し, 分布ローバストニューロンがデータセット間の一貫したランキングを維持し, クロスデータセットのランキングのばらつきが高い分布感度ニューロンを観察する。 これに基づいて,既存手法における2つの構造的制約を同定する。 まず、共有空間内の全てのニューロンをランク付けすると、キャリブレーション入力を強く活性化する分布感受性ニューロンが支配的になり、アウト・オブ・ディストリビューション・タスクに不可欠な分布障害ニューロンが群がる。 第二に、アクティベーションベースの重要度を一様に適用することは信頼性が低い。 キャリブレーションデータ上で頻繁に活性化される分布感受性ニューロンは、正確な局所ランク付けのために不十分な活性化信号を受け取る。 これらの制約に対処するため,我々は,交叉分布行動におけるニューロンの差異を明示的に考慮した一般化対応型構造化プルーニングフレームワークGPrune-LLMを提案する。 まず、ニューロンを動作一貫性のあるモジュールに分割し、ランキング競争をローカライズし、分布感度とスコアの程度に応じてモジュールごとのアクティベーションベースのメートル法信頼性を評価する。 アクティベーションベースのスコアリングが信頼できないモジュールに対しては、アクティベーション非依存メトリックに切り替える。 最後に,モジュール幅を適応的に学習する。 複数の下流タスクにわたる大規模な実験は、圧縮後の一般化においてGPrune-LLMが一貫した改善、特に高い疎性において、重要度選択への依存を減らしたことを示す。

関連論文リスト

• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• Revisiting Large Language Model Pruning using Neuron Semantic Attribution [63.62836612864512]
  人気プルーニング手法を用いて,24のデータセットと4つのタスクの評価を行った。 感情分類タスクでは,既存のプルーニング手法の大幅な性能低下がみられた。 本稿では,各ニューロンと特定の意味論を関連づけることを学ぶニューロン意味属性を提案する。
  論文  参考訳（メタデータ） (2025-03-03T13:52:17Z)
• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Neuron with Steady Response Leads to Better Generalization [31.64957274989468]
  本稿では,ニューロン内応答のばらつきを低減するために,ニューロン定常正規化と呼ばれる新しい正規化手法を提案する。 我々は、多層知覚、畳み込みニューラルネットワーク、グラフニューラルネットワークについて、様々なドメインの一般的なベンチマークデータセットを用いて実験を行う。
  論文  参考訳（メタデータ） (2021-11-30T14:08:29Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。