論文の概要: Resting Neurons, Active Insights: Improving Input Sparsification for Large Language Models

• arxiv url: http://arxiv.org/abs/2512.12744v1
• Date: Sun, 14 Dec 2025 15:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.413805
• Title: Resting Neurons, Active Insights: Improving Input Sparsification for Large Language Models
• Title（参考訳）: Resting Neurons, Active Insights: 大規模言語モデルの入力スパーシフィケーションの改善
• Authors: Haotian Xu, Tian Gao, Tsui-Wei Weng, Tengfei Ma,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いアプリケーションにわたって最先端のパフォーマンスを達成する。 構造的プルーニングは、ニューロンなどの冗長な計算単位を除去することでモデルサイズを小さくし、解法として広く研究されている。 本研究は,入力毎の入力値のサブセットのみを選択的に活性化することにより効率を向上する手法である入力スペーシフィケーションに注力する。
• 参考スコア（独自算出の注目度）: 42.12574676719046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) achieve state-of-the-art performance across a wide range of applications, but their massive scale poses significant challenges for both efficiency and interpretability. Structural pruning, which reduces model size by removing redundant computational units such as neurons, has been widely explored as a solution, and this study devotes to input sparsification, an increasingly popular technique that improves efficiency by selectively activating only a subset of entry values for each input. However, existing approaches focus primarily on computational savings, often overlooking the representational consequences of sparsification and leaving a noticeable performance gap compared to full models. In this work, we first reinterpret input sparsification as a form of dynamic structural pruning. Motivated by the spontaneous baseline firing rates observed in biological neurons, we introduce a small set of trainable spontaneous neurons that act as compensatory units to stabilize activations in sparsified LLMs. Experiments demonstrate that these auxiliary neurons substantially reduce the sparsification-induced performance gap while generalizing effectively across tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いアプリケーションにわたって最先端のパフォーマンスを達成するが、その大規模化は効率性と解釈可能性の両方に重大な課題をもたらす。 ニューロンなどの冗長な計算単位を除去してモデルサイズを小さくする構造的プルーニングは解法として広く研究されており、各入力に対する入力値のサブセットのみを選択的に活性化することにより効率を向上する、インプットスペーシフィケーションに傾注している。 しかし、既存のアプローチは主に計算の節約に重点を置いており、しばしばスパーシフィケーションの表現結果を見落とし、フルモデルと比較して顕著な性能差を残している。 本研究では,まず入力スペーシフィケーションを動的構造解析の一形態として再解釈する。 生体ニューロンで観察される自発性ベースラインの発火速度に刺激され、スペーサー化LDMの活性化を安定させるために、補償単位として機能する訓練可能な自発性ニューロンの小さなセットを導入する。 実験により、これらの補助ニューロンは、タスク間で効果的に一般化しながら、スパーシフィケーションによって引き起こされるパフォーマンスギャップを大幅に減少させることが示された。

関連論文リスト

• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• A Sparsity Predicting Approach for Large Language Models via Activation Pattern Clustering [3.485125799252057]
  LLM(Large Language Models)は、特定の入力に対してニューロンのサブセットのみがアクティブである、大きな活性化間隔を示す。 ニューロンレベルでの直接予測は、現代のLSMの膨大な数のニューロンのために計算的に高価である。 本稿では,クラスタリングに基づくアクティベーションパターン圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-11T19:07:29Z)
• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance [25.579863542008646]
  本稿では,アクティベーション統計に基づく直感的で解釈可能なプルーニング手法を提案する。 我々は,データセット全体にわたる重み付けの分布を構築し,そのパラメータを用いて刈り取りプロセスのガイドを行う。 提案手法は,いくつかのベースラインおよび最先端プルーニング技術より一貫して優れる。
  論文  参考訳（メタデータ） (2024-10-21T16:18:31Z)
• CHESS: Optimizing LLM Inference via Channel-Wise Thresholding and Selective Sparsification [7.8430836312711465]
  本稿では,アクティベーションスペーシフィケーション問題を修正し,アクティベーションスペーシビリティとモデル性能の関係を明確に把握する。 本稿では,Channel-wise thrEsholding と Selective Sparsification による一般的な活性化スカラー化手法であるCHESSを提案する。 実験の結果,提案したCHESSは,既存の手法よりも少ないパラメータを活性化しながら,8つの下流タスクよりも低い性能劣化を実現することがわかった。
  論文  参考訳（メタデータ） (2024-09-02T16:41:44Z)
• NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models [35.10729451729596]
  自然言語処理(NLP)におけるトランスフォーマーベース言語モデルの普及 しかし、高価なトレーニングや推論は、その適用性に重大な障害となる。 脳神経ネットワークにインスパイアされた我々は、ネットワークトポロジーのレンズを通してスパーシティアプローチを探索する。
  論文  参考訳（メタデータ） (2024-02-28T22:21:47Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。