論文の概要: Revisiting Large Language Model Pruning using Neuron Semantic Attribution

• arxiv url: http://arxiv.org/abs/2503.01542v1
• Date: Mon, 03 Mar 2025 13:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:11.161086
• Title: Revisiting Large Language Model Pruning using Neuron Semantic Attribution
• Title（参考訳）: ニューロンセマンティック属性を用いた大規模言語モデルプルーニングの再検討
• Authors: Yizhuo Ding, Xinwei Sun, Yanwei Fu, Guosheng Hu,
• Abstract要約: 人気プルーニング手法を用いて,24のデータセットと4つのタスクの評価を行った。 感情分類タスクでは,既存のプルーニング手法の大幅な性能低下がみられた。 本稿では,各ニューロンと特定の意味論を関連づけることを学ぶニューロン意味属性を提案する。
• 参考スコア（独自算出の注目度）: 63.62836612864512
• License:
• Abstract: Model pruning technique is vital for accelerating large language models by reducing their size and computational requirements. However, the generalizability of existing pruning methods across diverse datasets and tasks remains unclear. Thus, we conduct extensive evaluations on 24 datasets and 4 tasks using popular pruning methods. Based on these evaluations, we find and then investigate that calibration set greatly affect the performance of pruning methods. In addition, we surprisingly find a significant performance drop of existing pruning methods in sentiment classification tasks. To understand the link between performance drop and pruned neurons, we propose Neuron Semantic Attribution, which learns to associate each neuron with specific semantics. This method first makes the unpruned neurons of LLMs explainable.
• Abstract（参考訳）: モデルプルーニング技術は、そのサイズと計算要求を減らし、大きな言語モデルの加速に不可欠である。 しかし、様々なデータセットやタスクにまたがる既存のプルーニング手法の一般化性は、まだ不明である。 そこで我々は,人気プルーニング手法を用いて,24のデータセットと4つのタスクについて広範囲に評価を行った。 これらの評価に基づいて,キャリブレーションセットがプルーニング法の性能に大きく影響していることを発見し,検討する。 さらに,感情分類タスクにおける既存のプルーニング手法の大幅な性能低下がみられた。 そこで我々は,各ニューロンと特定の意味論を関連付けることを学習するニューロンセマンティック属性を提案する。 この方法はまず、LLMの未切断ニューロンを説明する。

関連論文リスト

• Neuron-Level Knowledge Attribution in Large Language Models [19.472889262384818]
  本稿では,重要なニューロンをピンポイントする静的手法を提案する。 他の7つの手法と比較して,本手法は3つの指標にまたがる優れた性能を示す。 また,注目層とフィードフォワード層の両方にわたる6種類の知識を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2023-12-19T13:23:18Z)
• Magnificent Minified Models [0.360953887026184]
  本論文は、大規模なトレーニングニューラルネットワークを「圧縮」し、パラメータやニューロン全体を削除することで、より小さくするタスクを自覚する。 パラメータとニューロン選択の様々な方法を比較する:ドロップアウトベースニューロン損傷推定、ニューロンのマージ、絶対値ベース選択、ランダム選択。 ニューロンレベルのプルーニングでは、スクラッチから再トレーニングを行うことで、実験はずっと良くなりました。
  論文  参考訳（メタデータ） (2023-06-16T21:00:44Z)
• What Matters In The Structured Pruning of Generative Language Models? [44.86217321428518]
  GPT-3のような自動回帰型大規模言語モデルは膨大な計算資源を必要とする。 伝統的に、資源使用量を減らすために構造化プルーニング法が用いられている。 我々は,緑化モデルにおけるニューロンの特異性を改善するため,GUM(Globally Unique Movement)を導入する。
  論文  参考訳（メタデータ） (2023-02-07T22:05:55Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance [37.82255888371488]
  本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。 提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-08T18:27:42Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。