Fugu-MT 論文翻訳(概要): Hidden in Plain Sight: The Overlooked Significance of Canonical Elements for Extreme LLM Sparsity

論文の概要: Hidden in Plain Sight: The Overlooked Significance of Canonical Elements for Extreme LLM Sparsity

arxiv url: http://arxiv.org/abs/2609.06557v1
Date: Sun, 06 Sep 2026 12:05:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.265371
Title: Hidden in Plain Sight: The Overlooked Significance of Canonical Elements for Extreme LLM Sparsity
Title（参考訳）: 平地に隠された極端LLM空間における標準元素の過渡的意義
Abstract要約: 大規模言語モデル(LLM)は、しばしば攻撃的なスパシフィケーションの下で脆弱であると考えられている。プレトレーニングされたLLMは、一般に研究されているスパーシティ・レギュレーションをはるかに超えて、強い性能を維持することができることを示す。
参考スコア（独自算出の注目度）: 4.18874273271186
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are often considered fragile under aggressive sparsification, and maintaining reliable performance typically requires sticking to moderate sparsity levels. However, recent studies suggest that LLMs are more resilient to high sparsity than previously thought, reframing the problem as a design challenge rather than a fundamental limitation. In this work, we challenge the perceived limits of unstructured post-training LLM pruning by revisiting elementary pruning strategies that have remained relatively underexplored at this scale. Through a progressive sparsification framework with second-order saliency and continued training coordinated with sparsity progression, we show that pretrained LLMs can retain strong performance far beyond commonly studied sparsity regimes. Across LLaMA-2 and Qwen-3 model families, our approach improves perplexity and downstream accuracy up to 99\% sparsity, surpassing both the current state-of-the-art and representative baselines. Precisely, on LLaMA-2-7B, our approach achieves WikiText-2 perplexities of 13.48 and 19.67 at 95\% and 99\% sparsity, respectively, while delivering 3.23$\times$ decoding speedup and 6.21$\times$ memory savings at 95\% sparsity. Taken together, our results show that LLMs can be pushed into extreme sparsity while retaining strong performance, providing a foundation for further improving sparse models in this regime.
Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば攻撃的なスパシフィケーションの下で脆弱であると考えられ、信頼性の高い性能を維持するには、通常、適度なスパシフィティーレベルに固執する必要がある。しかし、最近の研究では、LCMは従来考えられていたよりも高い空間性に耐性があり、根本的な制限よりも設計上の課題として認識されていることが示唆されている。本研究では,この規模で比較的過小評価されている初等的刈り込み戦略を再考することにより,非構造化後LLM刈り込み限界の認識に挑戦する。本研究は,2次正則性をもつ進行的疎水化フレームワークと,疎水性進行と協調した継続訓練により,事前学習したLCMが,一般に研究されている疎水性体制を超えて強い性能を維持することができることを示す。 LLaMA-2 と Qwen-3 モデルファミリ全体で、我々のアプローチは、現在の最先端および代表的ベースラインを超越して、パープレキシティと下流精度を 99\% まで向上させる。正確には、LLaMA-2-7B では、WikiText-2 の難易度は 13.48 と 19.67 でそれぞれ 95\% と 99\% で達成し、復号速度は 3.23$\times$ と 6.21$\times$ で95\% で達成した。この結果から, LLMは高い性能を維持しつつ, 極端に疎らみに陥り, スパースモデルの改善の基盤となることが示唆された。

関連論文リスト

The Unseen Frontier: Pushing the Limits of LLM Sparsity with Surrogate-Free ADMM [33.926500272577165]
ニューラルネットワークプルーニングは、大規模言語モデルの過剰な計算およびメモリ要求を軽減するための有望な手法である。我々は,高モデル忠実度を維持しつつ,極端にスペーサレベルを最大90%まで達成する,$textttElsa$という原理的かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2025-10-02T04:10:17Z)
Maximum Redundancy Pruning: A Principle-Driven Layerwise Sparsity Allocation for LLMs [25.66881879984798]
大きな言語モデル(LLM)は印象的な機能を示しているが、その巨大なサイズは、現実世界のアプリケーションにデプロイする上で大きな課題をもたらしている。最近の空間割当手法は、しばしば反復や探索に基づいており、それが最適以下の性能に繋がる。我々は,最も冗長な層に浮かぶ反復的プルーニングアルゴリズムである冗長プルーニング(MRP)を提案する。
論文参考訳（メタデータ） (2025-03-24T06:17:30Z)
Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
論文参考訳（メタデータ） (2025-02-20T17:51:10Z)
Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文参考訳（メタデータ） (2024-12-19T18:08:04Z)
AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models [94.82766517752418]
そこで我々は,AlphaPruningを提案する。このAlphaPruningは,より理論的に原理化された方法で,水平方向の空間比を割り振る。以上よりAlphaPruning prunes LLaMA-7B to 80% sparsity while maintain well perplexity, marking a first in the literature on LLMs。
論文参考訳（メタデータ） (2024-10-14T03:35:11Z)
ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models [67.97667465509504]
我々は,LLMの挙動を隠蔽し,より親密なパターンを強制できる新しい予測器であるShadowLLMを開発した。 ShadowLLMは最先端のDejaVuフレームワーク上で最大20%のスピードアップを達成する。
論文参考訳（メタデータ） (2024-06-24T13:41:08Z)
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
論文参考訳（メタデータ） (2024-02-21T03:58:49Z)
Learn To be Efficient: Build Structured Sparsity in Large Language Models [17.940183066850565]
大きな言語モデル(LLM)は、その10億レベルのパラメータで驚くべき成功を収めていますが、高い推論オーバーヘッドを引き起こします。既存の方法は、訓練後の環境で自然に形成された活性化空間の利用にのみ焦点をあてる。本稿では,Learning-To-Efficient (LTE) という学習学習アルゴリズムを導入する。
論文参考訳（メタデータ） (2024-02-09T01:18:16Z)
One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models [42.95555008229016]
そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
論文参考訳（メタデータ） (2023-10-14T05:43:09Z)
Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。 OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
論文参考訳（メタデータ） (2023-10-08T14:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。