論文の概要: Building a Nested LADDER for LLM Unstructured Post-Training Pruning

• arxiv url: http://arxiv.org/abs/2610.28773v1
• Date: Tue, 20 Oct 2026 18:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.116273
• Title: Building a Nested LADDER for LLM Unstructured Post-Training Pruning
• Title（参考訳）: LLM非構造化後処理のためのネスト型LADDERの構築
• Abstract要約: LADDER(Layer-Wise Allocation via damage-Driven Evaluation and Refinement)を導入する。 OPT, Llama, Qwenの5つのモデルに対して, SparseGPTを候補生成バックエンドとして, 10～90%の範囲でLADDERを評価した。 LADDERは、良質な間隔で同等かわずかに弱いが、70%からかなり堅牢になる。
• 参考スコア（独自算出の注目度）: 10.894929874293966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-uniform allocation can improve post-training pruning of large language models, yet quality can still degrade sharply at high sparsity. To control degradation as sparsity increases, we introduce LADDER (Layer-Wise Allocation via Damage-Driven Evaluation and Refinement), which allocates sparsity incrementally. At each step, it evaluates pruning an additional fraction of weights from each eligible layer and commits the layer update that causes the least end-to-end degradation per removed parameter. This process produces non-uniform sparsity profiles and exactly nested masks across multiple budgets. We evaluate LADDER on five OPT, Llama, and Qwen models across 10-90% sparsity, using SparseGPT as its candidate-generation backend and comparing against uniform and adaptive allocation baselines. Results reveal a clear operating-regime trade-off: LADDER is comparable or slightly weaker at benign sparsity but becomes substantially more robust from 70% onward. This high-sparsity advantage largely persists after posterior distillation across four of five models and translates into improved retention of aggregate zero-shot accuracy.
• Abstract（参考訳）: 非均一なアロケーションは、大きな言語モデルのトレーニング後のプルーニングを改善することができるが、高い間隔で品質が著しく低下する可能性がある。 LADDER(Layer-Wise Allocation via damage-Driven Evaluation and Refinement)を導入し,スペーシティを段階的に割り当てる。 各ステップにおいて、各対象層から追加の重み付けをプルーニングし、削除されたパラメータ毎に最小のエンドツーエンド劣化を引き起こすレイヤ更新をコミットする。 このプロセスは、一様でない空間プロファイルと、複数の予算にわたって正確にネストされたマスクを生成する。 OPT, Llama, Qwenの5つのモデル上で, SparseGPT を候補生成バックエンドとして, 均一および適応的なアロケーションベースラインと比較し, 10～90%の範囲で LADDER を評価した。 LADDERは、良質な間隔で同等かわずかに弱いが、70%からかなり堅牢になる。 この高スパーシビリティの利点は、5つのモデルのうち4つのモデルにまたがって蒸留した後、ほとんど持続し、集合ゼロショット精度の保持が向上する。

関連論文リスト

• SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
  本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
  論文  参考訳（メタデータ） (2026-08-25T19:01:58Z)
• LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models [19.274512633962086]
  未構造化プルーニングの最先端手法は、最適脳サージオン原理から導かれる階層的なサロゲートである。 本稿では,この難易度パラメータ化をBernoulli-via-Gumbelシグモイド緩和法に置き換えるLEAPを提案する。 0.5Bから8Bパラメータの50%と60%の間隔で5つのLLMファミリーにまたがって、LEAPは6タスク平均ゼロショット精度をADMM平均で2.59ポイント改善する。
  論文  参考訳（メタデータ） (2026-05-17T07:01:13Z)
• SparseForge: Efficient Semi-Structured LLM Sparsification via Annealing of Hessian-Guided Soft-Mask [9.869956946475233]
  既存の手法では、精度を回復するために大規模なスパースリトレーニングを頼りにしており、計算コストが高い。 本稿では,スパシティマスクを直接最適化することにより,回復効率を向上させるポストトレーニングフレームワークであるSparseForgeを提案する。 2:4の間隔でLLaMA-2-7Bでは、SparseForgeは平均で57.27%のゼロショット精度を達成し、textbf5B$リトレーニングトークンのみである。
  論文  参考訳（メタデータ） (2026-05-07T15:11:45Z)
• EvoESAP: Non-Uniform Expert Pruning for Sparse MoE [42.738877185877634]
  textbfExpected textbfAcceptance textbfProxy (textbfESAP) は,プルーンドモデルがフルモデルとどの程度よく一致しているかを測定する投機的復号化型教師力メトリクスである。 固定されたグローバル予算の下で一様でない層単位の空間配置を最適化する進化的探索フレームワークであるEvoESAPを提案する。
  論文  参考訳（メタデータ） (2026-03-06T08:02:58Z)
• LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
  ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。 我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。 我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-14T18:45:36Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。