論文の概要: Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

• arxiv url: http://arxiv.org/abs/2604.27115v1
• Date: Wed, 29 Apr 2026 19:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.765916
• Title: Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models
• Title（参考訳）: プルーニングの限界を探る:タスク特化ニューロン、モデル崩壊、タスク特化大言語モデルの回復
• Authors: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque,
• Abstract要約: 言語モデルにおけるタスク特異的ニューロンの存在と重要性に関する実証的証拠を提供する。 ターゲットタスクへの寄与が低いニューロンを識別し,ターゲットタスクの精度を維持しながらプーンする,アクティベーションベースの選択性指標を提案する。 また,プルーニングの増加に伴い,パラメータと実行時VRAM使用量の一貫した削減,推論スループットの向上も観察した。
• 参考スコア（独自算出の注目度）: 0.259202171398714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuron pruning is widely used to reduce the computational cost and parameter footprint of large language models, yet it remains unclear whether neurons in task-specific models contribute uniformly to task performance. In this work, we provide empirical evidence for the existence and importance of task-specific neurons through a systematic pruning study on language models specialized for mathematical reasoning and code generation. We introduce an activation-based selectivity metric to identify neurons with low contribution to the target task and prune them while preserving target-task accuracy, and compare selective pruning with random pruning. Selective pruning consistently outperforms random pruning, indicating that activation-based selectivity provides a systematic advantage over random pruning. Reverse pruning experiments further show that removing a small subset of highly task-specific neurons (~10%) causes complete performance collapse, suggesting that there exist task specific neurons and critical task information is concentrated in a small portion of the network. In contrast, selective pruning of less critical neurons (~30% - ~35%) reduces accuracy but still preserves significant performance. We also observed consistent reductions in parameters and runtime VRAM usage, along with improved inference throughput as pruning increases. Experiments on both 1.5B and 7B models reveal a robustness threshold around 15-20% pruning, beyond which accuracy loss and generation failures increase sharply. Fine-tuning substantially recovers performance across pruning levels, particularly for aggressively pruned models. These findings provide empirical evidence of neuron specialization in task-specific language models and offer insights into pruning robustness, model redundancy, and post-pruning recoverability.
• Abstract（参考訳）: ニューロロンプルーニングは大規模言語モデルの計算コストとパラメータフットプリントの削減に広く用いられているが、タスク固有モデルのニューロンがタスク性能に一様であるかどうかは不明である。 本研究では、数学的推論とコード生成に特化した言語モデルに関する体系的なプルーニング研究を通じて、タスク特異的ニューロンの存在と重要性に関する実証的な証拠を提供する。 ターゲットタスクへの寄与が低いニューロンを識別し、ターゲットタスクの精度を維持しながらプーンし、選択プルーニングとランダムプルーニングを比較するために、アクティベーションベースの選択性指標を導入する。 選択的プルーニングはランダムプルーニングよりも一貫して優れており、アクティベーションに基づく選択性はランダムプルーニングよりも体系的な優位性をもたらすことを示している。 逆プルーニング実験により、タスク固有ニューロンの小さなサブセット(~10%)を除去すると完全なパフォーマンスが崩壊し、タスク固有ニューロンが存在し、クリティカルタスク情報がネットワークのごく一部に集中していることが示唆された。 対照的に、より臨界度の低いニューロン(~30% - ~35%)の選択的プルーニングは精度を低下させるが、それでも大きな性能を維持する。 また,プルーニングの増加に伴い,パラメータと実行時VRAM使用量の一貫した削減,推論スループットの向上も観察した。 1.5Bモデルと7Bモデルの両方の実験では、15-20%のプルーニングで堅牢性しきい値が示され、精度の低下と生成失敗が急激に増加する。 微調整はプルーニングレベル、特に積極的にプルーニングされたモデルのパフォーマンスを著しく回復させる。 これらの結果は、タスク固有言語モデルにおけるニューロンの特殊化を実証的に証明し、プルーニングの堅牢性、モデル冗長性、および後プルーニングの回復性に関する洞察を与える。

関連論文リスト

• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• Revisiting Large Language Model Pruning using Neuron Semantic Attribution [63.62836612864512]
  人気プルーニング手法を用いて,24のデータセットと4つのタスクの評価を行った。 感情分類タスクでは,既存のプルーニング手法の大幅な性能低下がみられた。 本稿では,各ニューロンと特定の意味論を関連づけることを学ぶニューロン意味属性を提案する。
  論文  参考訳（メタデータ） (2025-03-03T13:52:17Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• One Neuron to Fool Them All [12.107259467873094]
  我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。 単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
  論文  参考訳（メタデータ） (2020-03-20T16:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。