論文の概要: The Sparsity Whisperer

• arxiv url: http://arxiv.org/abs/2608.06630v1
• Date: Thu, 06 Aug 2026 22:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.300628
• Title: The Sparsity Whisperer
• Title（参考訳）: The Sparsity Whisperer
• Abstract要約: 効果的な刈り取りは、活性化だけでなく、出力の差もより広く保存すべきである、と我々は主張する。 この原理に基づく差分インフォームドプルーニング手法のファミリを導入する。 Llama 2 と 3.1 モデルは 7B から 405B のパラメータにまたがって、我々の2階変種は、強い再構成ベースラインよりも一貫して改善されている。
• 参考スコア（独自算出の注目度）: 34.96796140391383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning reduces the inference cost of large language models, but existing criteria primarily preserve large activations or reconstruct layer outputs. We argue that this overlooks a key computation performed by particularly sparsity-sensitive neurons in the MLP up and gate projections: separating similar inputs into dissimilar outputs. This suggests that effective pruning should preserve not only activations, but also the differences between outputs more broadly. We introduce a family of difference-informed pruning methods built upon this principle. Wisp is a first-order, update-free method that scores weights using input-difference norms, and Wisp+ refines this score neuronwise using the input pairs each neuron separates most strongly. Finally, Whisper is a second-order method that uses a lightly regularized difference Hessian as its reconstruction objective. Across Llama 2 and 3.1 models from 7B to 405B parameters, our second-order variant consistently improves over strong reconstruction-based baselines, while our update-free variants improve over activation-aware baselines, especially in constrained settings. The improvements over Wanda and SparseGPT extend to structured sparsity, downstream evaluations, and other model families. Augmenting stronger techniques such as RIA and ALPS with our difference-informed criteria yields further improvements, shifting the overall accuracy-runtime frontier outward at negligible additional cost. These results suggest that preserving output differences is a broadly useful and composable signal for post-training LLM sparsification.
• Abstract（参考訳）: プルーニングは大きな言語モデルの推論コストを削減するが、既存の基準は主に大きなアクティベーションを保ち、層出力を再構築する。 このことは、MLPアップとゲートプロジェクションにおいて特にスペーサに敏感なニューロンによって実行される重要な計算を見落としている、と我々は主張する。 このことは、効果的な刈り取りは、活性化だけでなく、出力の差もより広く保存すべきであることを示している。 この原理に基づく差分インフォームドプルーニング手法のファミリを導入する。 Wispは入射差ノルムを用いて重みをスコアする一階法であり、Wisp+は各ニューロンが最も強く分離する入力ペアを用いて神経的にこのスコアを洗練する。 最後に、Whisperは光に規則化されたヘッセン差を再構成の目的とする2階法である。 Llama 2 と 3.1 モデルから 7B から 405B パラメータまで,2次モデルでは強いリコンストラクションベースラインよりも,特に制約のある設定では,更新不要モデルではアクティベーション対応ベースラインよりも一貫して改善されています。 WandaとSparseGPTの改善は、構造化されたスパーシリティ、下流評価、その他のモデルファミリーにまで及んでいる。 RIAやALPSといった強力なテクニックを差別化基準で強化することで、さらなる改善が得られます。 これらの結果から, 出力差の保存は, LLMスペーサー化後処理において, 広範に有用かつ構成可能な信号であることが示唆された。

関連論文リスト

• Denoised Variance-Based Pruning with Optimal Brain Bias Compensation [45.88028371034407]
  VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。 Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。 最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
  論文  参考訳（メタデータ） (2026-08-18T11:23:49Z)
• GraphPO: Graph-based Policy Optimization for Reasoning Models [39.010538168884786]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模推論モデルの能力向上のための標準パラダイムとなっている。 ツリーベースの手法は、プレフィックスを共有し、同じプレフィックスから分岐を比較して、きめ細かい信号を提供することによってこの問題に対処する。 提案するグラフPOは,有向非巡回グラフとしてロールアウトを表現した新しいRLフレームワークであり,エッジとしての推論ステップとノードとしての推論パスから要約されたセマンティックステートを持つ。
  論文  参考訳（メタデータ） (2026-06-17T11:37:54Z)
• TriSP: Tri-Signal Structured Pruning for Large Language Models [0.0]
  大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 本稿では,Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T17:02:14Z)
• Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes [53.726365933748134]
  標準損失と正に偏りのある活性化関数の相互作用によって引き起こされる負の重みのドリフトを解析する。 79の構成にまたがるスパシティ・精度のトレードオフを特徴付けるとともに、$sim$70%のアクティベーション・スパシティよりも高い精度の崖を識別する。
  論文  参考訳（メタデータ） (2026-05-17T21:29:20Z)
• Shapley-Guided Neural Repair Approach via Derivative-Free Optimization [21.274208005071277]
  既存のアプローチは主にリトレーニング、最適化、制約、検索アルゴリズムを含む。 本研究では,解釈可能なフォールトローカライゼーションとデリバティブフリー最適化戦略を統合したSHARPENを提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:05:48Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Two-Stage Regularization-Based Structured Pruning for LLMs [32.65416603453818]
  TRSP: 大規模言語モデルのための2段階規則化に基づく構造化プルーニング。 TRSPは, 再学習を必要とせず, 強い階層構造を有するプルーニング法よりも優れた性能を示すことを示す。 層ワイドプルーニング法として、注目すべきエンドツーエンドアクセラレーションを提供する。
  論文  参考訳（メタデータ） (2025-05-23T12:40:59Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Scalable Variational Gaussian Process Regression Networks [19.699020509495437]
  GPRNのためのスケーラブルな変分推論アルゴリズムを提案する。 出力空間をテンソル化し、テンソル/マトリクス正規変分後部を導入し、後部相関を捉える。 実世界のいくつかの応用において,本手法の利点を実証する。
  論文  参考訳（メタデータ） (2020-03-25T16:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。