論文の概要: Advancing Model Pruning via Bi-level Optimization
- arxiv url: http://arxiv.org/abs/2210.04092v1
- Date: Sat, 8 Oct 2022 19:19:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 18:32:00.013754
- Title: Advancing Model Pruning via Bi-level Optimization
- Title（参考訳）: バイレベル最適化によるモデルプルーニングの進展
- Authors: Yihua Zhang, Yuguang Yao, Parikshit Ram, Pu Zhao, Tianlong Chen,
Mingyi Hong, Yanzhi Wang, Sijia Liu
- Abstract要約: イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である
ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
- 参考スコア（独自算出の注目度）: 89.88761425199598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment constraints in practical applications necessitate the pruning
of large-scale deep learning models, i.e., promoting their weight sparsity. As
illustrated by the Lottery Ticket Hypothesis (LTH), pruning also has the
potential of improving their generalization ability. At the core of LTH,
iterative magnitude pruning (IMP) is the predominant pruning method to
successfully find 'winning tickets'. Yet, the computation cost of IMP grows
prohibitively as the targeted pruning ratio increases. To reduce the
computation overhead, various efficient 'one-shot' pruning methods have been
developed, but these schemes are usually unable to find winning tickets as good
as IMP. This raises the question of how to close the gap between pruning
accuracy and pruning efficiency? To tackle it, we pursue the algorithmic
advancement of model pruning. Specifically, we formulate the pruning problem
from a fresh and novel viewpoint, bi-level optimization (BLO). We show that the
BLO interpretation provides a technically-grounded optimization base for an
efficient implementation of the pruning-retraining learning paradigm used in
IMP. We also show that the proposed bi-level optimization-oriented pruning
method (termed BiP) is a special class of BLO problems with a bi-linear problem
structure. By leveraging such bi-linearity, we theoretically show that BiP can
be solved as easily as first-order optimization, thus inheriting the
computation efficiency. Through extensive experiments on both structured and
unstructured pruning with 5 model architectures and 4 data sets, we demonstrate
that BiP can find better winning tickets than IMP in most cases, and is
computationally as efficient as the one-shot pruning schemes, demonstrating 2-7
times speedup over IMP for the same level of model accuracy and sparsity.
- Abstract（参考訳）: 実用アプリケーションにおけるデプロイメントの制約は、大規模なディープラーニングモデル、すなわち重量空間の促進を必要とする。
Lottery Ticket hypothesis (LTH)で説明されているように、プルーニングもまた一般化能力を改善する可能性がある。
LTHの中核にあるイテレーティブ・マグニチュード・プルーニング(IMP)は、「勝利のチケット」を見つけるのに成功しているプルーニング法である。
しかし、ターゲットプルーニング比が増加するにつれてIMPの計算コストは著しく増大する。
計算オーバーヘッドを低減するために、様々な効率的な「ワンショット」プルーニング手法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
これは、プルーニング精度とプルーニング効率のギャップをいかに埋めるかという疑問を提起する。
そこで我々は,モデルプルーニングのアルゴリズムの進歩を追求する。
具体的には、新鮮で新しい2段階最適化(BLO)の観点からプルーニング問題を定式化する。
我々は,BLO解釈がIMPで使用されるプルーニング訓練学習パラダイムの効率的な実装のための技術的基盤となることを示す。
また,提案手法であるbi-level optimization-oriented pruning method (bip) は,双線形問題構造を持つblo問題の特殊クラスであることを示す。
このような双線型性を利用して、理論上BiPが一階最適化と同じくらい容易に解けることを示し、計算効率を継承する。
5つのモデルアーキテクチャと4つのデータセットによる構造化プルーニングと非構造化プルーニングの両方に関する広範な実験を通じて、BiPがIMPよりも優れた当選チケットを得られることを示し、同じモデルの精度と疎度でIMPよりも2-7倍のスピードアップを示した。
関連論文リスト
- A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models [24.185245582500876]
本稿では,凸最適化モデルとアルゴリズムに基づく最初のポストトレーニングプルーナであるFISTAPrunerを紹介する。
FISTAPrunerは層内累積誤差補正機構を搭載し、並列プルーニングをサポートする。
OPT, LLaMA, LLaMA-2, LLaMA-3 などのモデルにおける FISTAPruner の評価を行った。
論文 参考訳（メタデータ） (2024-08-07T12:33:46Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。
我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。
現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。
本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T18:40:47Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - MLPruning: A Multilevel Structured Pruning Framework for
Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。
我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文 参考訳（メタデータ） (2021-05-30T22:00:44Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳（メタデータ） (2021-05-26T17:01:52Z) - Strong Optimal Classification Trees [8.10995244893652]
最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。
我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。
提案手法は最先端MIO技術よりも29倍高速であることを示す。
論文 参考訳（メタデータ） (2021-03-29T21:40:58Z) - Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。
LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文 参考訳（メタデータ） (2020-10-15T09:14:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。