論文の概要: StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory

• arxiv url: http://arxiv.org/abs/2510.03246v1
• Date: Thu, 25 Sep 2025 19:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-12 15:03:05.792274
• Title: StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory
• Title（参考訳）: StructPrune: $\mathcal{O}(\sqrt{N})$ GPUメモリによる構造化グローバルプルング漸近
• Authors: Xinyuan Song, Guangji Bai, Liang Zhao,
• Abstract要約: プルーニングは大規模言語モデル(LLM)のスケーリングに重要である グローバルプルーニングは高いパフォーマンスを実現するが、$mathcalO(N)$メモリを必要とする。 ローカルプルーニングは、レイヤを独立してプルーニングすることで、GPUメモリ使用量を単一のレイヤに短縮する。
• 参考スコア（独自算出の注目度）: 11.996799691784693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is critical for scaling large language models (LLMs). Global pruning achieves strong performance but requires $\mathcal{O}(N)$ memory, which is infeasible for billion-parameter models. Local pruning reduces GPU memory usage to that of a single layer by pruning layers independently, but it neglects inter-layer dependencies and often leads to suboptimal performance in high-sparsity regimes. Unlike unstructured pruning, structured pruning produces regular sparsity patterns that align well with GPU kernels and library optimizations, making it more hardware-efficient. However, structured pruning typically relies on global pruning, since structured patterns are more prone to severe performance degradation under local optimization. To jointly achieve structured pruning and the memory efficiency of local pruning, we propose a divide-and-conquer strategy that decomposes the global pruning problem into coordinated subproblems across different modules, each of which fits within limited GPU memory. Building on this idea, we design \textbf{STRUPRUNE}, an ADMM-based framework that integrates structured sparsity into the pruning process, combining the memory efficiency of local pruning with the hardware compatibility of structured methods. We derive a closed-form analytical solution for structured pruning masks that provides an explicit rule for layer-wise sparsity allocation, and further develop an energy-based asymptotic framework yielding a softmax-form allocation scheme that simplifies optimization while adapting to heterogeneous layer importance. Experiments demonstrate that STRUPRUNE matches the perplexity of global structured pruning while reducing memory cost from $\mathcal{O}(N)$ to $\mathcal{O}(\sqrt{N})$, enabling practical deployment at the billion-parameter scale.
• Abstract（参考訳）: プルーニングは、大規模言語モデル(LLM)のスケーリングに重要である。 グローバルプルーニングは高いパフォーマンスを実現するが、数十億パラメータモデルでは不可能な$\mathcal{O}(N)$メモリを必要とする。 ローカルプルーニングは、層を個別にプルーニングすることで、GPUメモリを単一の層に還元するが、層間の依存関係を無視し、しばしば高スパーシティなレシエーションにおいて、最適以下のパフォーマンスをもたらす。 非構造化プルーニングとは異なり、構造化プルーニングは、GPUカーネルやライブラリ最適化と整合し、ハードウェア効率が向上する通常のスペーサパターンを生成する。 しかし、構造的プルーニングは、局所最適化下での大幅な性能劣化により、構造的パターンがより難しくなるため、大域的プルーニングに依存している。 局所的なプルーニングにおける構造的プルーニングとメモリ効率を両立させるため,大域的なプルーニング問題を,GPUメモリに限定した,異なるモジュールにまたがる調整されたサブプロブレムに分解する分割・コンカー戦略を提案する。 このアイデアに基づいて, 局所的な刈り出しのメモリ効率と構造化手法のハードウェア互換性を両立させる, ADMM ベースのフレームワークである \textbf{STRUPRUNE} を設計する。 本研究では, 階層単位の空間配置を明示的に規定する構造化プルーニングマスクの閉形式解析解を導出し, さらに, 不均一層の重要性に適応しつつ最適化を簡略化するソフトマックス形式アロケーションスキームを創出するエネルギーベース漸近フレームワークを開発する。 実験により、STRUPRUNEは、大域的な構造化プルーニングの難易度と一致し、メモリコストを$\mathcal{O}(N)$から$\mathcal{O}(\sqrt{N})$に削減し、10億パラメータスケールでの実用的な展開を可能にした。

関連論文リスト

• UniPruning: Unifying Local Metric and Global Feedback for Scalable Sparse LLMs [46.12497343562301]
  大規模言語モデル (LLM) は様々なタスクにまたがって高いパフォーマンスを達成するが、計算とメモリのコストは禁じられている。 We present UniPruning, a unified post-training pruning framework that with the speed of local saliency metrics and the stability of global coordinate。 UniPruningは、競争力または優れたパープレクティリティとゼロショットの精度を一貫して提供する。
  論文  参考訳（メタデータ） (2025-09-29T13:38:28Z)
• Týr-the-Pruner: Unlocking Accurate 50% Structural Pruning for LLMs via Global Sparsity Distribution Optimization [15.027017826182659]
  T'yr-the-Prunerは、効率的なエンドツーエンド検索ベースのグローバルな構造解析フレームワークである。 実効的な局所刈り取りと,スーパーネット構築を改善するための予測誤差蓄積手法を導入する。 その結果、T'yr-the-Prunerは最先端の構造解析を達成し、高密度モデルの性能の97%を維持しながら、Llama-3.1-70Bのパラメータの50%を除去した。
  論文  参考訳（メタデータ） (2025-03-12T11:52:49Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。