論文の概要: Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity

• arxiv url: http://arxiv.org/abs/2610.41968v1
• Date: Fri, 30 Oct 2026 16:17:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.807224
• Title: Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity
• Title（参考訳）: ゆるやかに順応する:極端に分散した大規模言語モデルの効率的なプルーニング
• Abstract要約: 本稿では,小規模で固定予算の少ないデルタを訓練しながら,進行段階におけるグローバルな空間的制約に適応するETAPSを提案する。 ETAPS は ELSA よりも50% から 90% まで低いパープレキシティを実現し, パープレキシティは 42% まで上昇した。 以上の結果から, 極端に低コストで, 極端に疎外性などの要求される体制において, 高い品質を実現するための有望な方向性が示唆された。
• 参考スコア（独自算出の注目度）: 18.067043157363294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight pruning can reduce the storage and inference cost of large language models (LLMs), but preserving quality at high sparsity levels remains challenging. Existing methods face a quality-cost trade-off in this regime. One-shot pruning is cheap but degrades sharply as sparsity increases, even when followed by post-pruning recovery. A growing line of work instead optimizes the mask directly from the dense model under the end-to-end objective; among these methods, [Lee et al.,2026], the recent state of the art at extreme sparsity, reaches high quality but at the cost of model-sized optimizer state and auxiliary variables. To address this gap, we propose ETAPS, which prunes gradually and adapts sparsely: it tightens a global sparsity constraint in progressive stages while training a sparse delta with a small, fixed budget. Our key observation is that gradual weight removal keeps each pruning step small enough for sparse adaptation to compensate, allowing the adapted model to provide end-to-end gradients that guide the next pruning decision without model-sized optimizer state. Across six models from 125M to 13B parameters, ETAPS achieves lower perplexity than ELSA at every evaluated sparsity from 50% to 90%, with perplexity reductions of up to 42%. ETAPS is also far cheaper: at 90% sparsity, it prunes LLaMA2-7B on a single H200, where ELSA uses four, with $5.0\times$ smaller total persistent state and 49% fewer GPU-hours. Together, our findings point to a promising direction for achieving high quality in demanding regimes such as extreme sparsity at substantially lower cost.
• Abstract（参考訳）: 軽量プルーニングは大規模言語モデル(LLM)のストレージと推論コストを削減できるが、高い空間レベルの品質を維持することは依然として困難である。 既存の方法は、この体制で品質コストのトレードオフに直面している。 ワンショットプルーニングは安価だが、スパシティの増加に伴って急激に劣化し、その後プルーニング後に回復する。 これらの手法のうち、最近の最先端技術である[Lee et al ,2026]は高品質だが、モデルサイズの最適化状態と補助変数のコストがかかる。 このギャップに対処するために、我々は、緩やかなデルタを小さな固定予算で訓練しながら、進行段階におけるグローバルな空間的制約を緩やかに調整するETAPSを提案する。 我々のキーとなる観察は、各プルーニングのステップを緩やかに調整できるほど小さく保ち、適応されたモデルがモデルサイズのオプティマイザ状態なしに次のプルーニング決定をガイドするエンド・ツー・エンド勾配を提供することを可能にすることである。 125Mから13Bパラメータの6つのモデルにおいて、ETAPSはELSAよりも50%から90%のパープレキシティで低いパープレキシティを達成し、最大42%のパープレキシティ低下を達成している。 ETAPSもはるかに安価で、90%の間隔で1つのH200でLLaMA2-7Bを出力し、ELSAは4つを使用し、5.0\times$より小さく、GPU時間も49%少ない。 以上の結果から,極端に低いコストで極端に疎外性などの要求される体制において,高い品質を実現するための有望な方向性が示唆された。

関連論文リスト

• Building a Nested LADDER for LLM Unstructured Post-Training Pruning [10.894929874293966]
  LADDER(Layer-Wise Allocation via damage-Driven Evaluation and Refinement)を導入する。 OPT, Llama, Qwenの5つのモデルに対して, SparseGPTを候補生成バックエンドとして, 10～90%の範囲でLADDERを評価した。 LADDERは、良質な間隔で同等かわずかに弱いが、70%からかなり堅牢になる。
  論文  参考訳（メタデータ） (2026-10-20T18:10:32Z)
• Your Transformer Is Secretly Elastic [46.417041776406414]
  本研究では,事前学習したトランスフォーマーを1つのモデルに変形させるリトレーニングフリー手法を提案する。 22Mから8Bまでの27個のトランスエンコーダを用いて,スムーズな劣化率を最大60%まで生成する。
  論文  参考訳（メタデータ） (2026-10-14T17:58:08Z)
• SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
  メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。 メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。 4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
  論文  参考訳（メタデータ） (2026-08-29T21:34:47Z)
• SPSA Hyperparameter Tuning for Variational Quantum Natural Language Inference [0.0]
  変分量子モデルの訓練には、パラメータシフト勾配と同時摂動近似のどちらかを選択する必要がある。 その結果,2サンプルSPSA勾配推定は40エポックにおける60パラメータの信頼性最適化に過度にばらつきがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-11T16:39:36Z)
• LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
  ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。 我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。 我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-14T18:45:36Z)
• Enhanced Sparsification via Stimulative Training [36.0559905521154]
  既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。 本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。 蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:05:17Z)
• Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes [68.86687117368247]
  バックプロパゲーションの不要な勾配のない構造化プルーニング手法であるBonsaiを紹介する。 ボンサイは少ないリソースでより良い圧縮を実現するが、セミ構造化プルーニングによって生成されるモデルよりも2倍高速なモデルも生成する。 この結果から,バックプロップを必要条件として取り除くことで,最先端の効率性と性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T04:48:26Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。