論文の概要: Data-Efficient Structured Pruning via Submodular Optimization

• arxiv url: http://arxiv.org/abs/2203.04940v1
• Date: Wed, 9 Mar 2022 18:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 16:08:44.109989
• Title: Data-Efficient Structured Pruning via Submodular Optimization
• Title（参考訳）: サブモジュラー最適化によるデータ効率の高い構造化pruning
• Authors: Marwa El Halabi, Suraj Srinivas, Simon Lacoste-Julien
• Abstract要約: 部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。 この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。 本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
• 参考スコア（独自算出の注目度）: 32.574190896543705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning is an effective approach for compressing large pre-trained neural networks without significantly affecting their performance, which involves removing redundant regular regions of weights. However, current structured pruning methods are highly empirical in nature, do not provide any theoretical guarantees, and often require fine-tuning, which makes them inapplicable in the limited-data regime. We propose a principled data-efficient structured pruning method based on submodular optimization. In particular, for a given layer, we select neurons/channels to prune and corresponding new weights for the next layer, that minimize the change in the next layer's input induced by pruning. We show that this selection problem is a weakly submodular maximization problem, thus it can be provably approximated using an efficient greedy algorithm. Our method is one of the few in the literature that uses only a limited-number of training data and no labels. Our experimental results demonstrate that our method outperforms popular baseline methods in various one-shot pruning settings.
• Abstract（参考訳）: 構造化プルーニング(Structured pruning)は、大きなトレーニング済みニューラルネットワークを圧縮する上で、その性能に大きな影響を及ぼすことなく効果的なアプローチである。 しかし、現在の構造化プルーニング法は自然界において非常に経験的であり、理論的な保証は提供せず、しばしば微調整を必要とするため、限定データ方式では適用できない。 サブモジュール最適化に基づく,データ効率のよい構造化プルーニング手法を提案する。 特に、与えられた層に対して、プルーニングによって誘導される次の層の入力の変化を最小限に抑えるために、ニューロン/チャネルを選択し、次の層に対する新しい重み付けに対応する。 この選択問題は弱部分モジュラル最大化問題であり,効率的なグリーディアルゴリズムを用いて確実に近似できることを示す。 本手法は,限られた数のトレーニングデータしか使用せず,ラベルも使用しない数少ない文献の1つである。 提案手法は, 各種単発プルーニング設定において, 一般的なベースラインメソッドよりも優れた性能を示す。

関連論文リスト

• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Effective Layer Pruning Through Similarity Metric Perspective [0.0]
  ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。 これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。 層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。 この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-27T11:54:51Z)
• A Unified Framework for Soft Threshold Pruning [27.853698217792456]
  反復収縮閾値アルゴリズム(ISTA)を用いた暗黙の最適化問題としてソフトしきい値プルーニングを再構成する。 我々は,フレームワークに基づくしきい値スケジューリングの詳細な研究を通じて,最適なしきい値スケジューラを導出する。 原理的には、導出プルーニングアルゴリズムは、SGDで訓練された任意の数学的モデルをスパース化することができる。
  論文  参考訳（メタデータ） (2023-02-25T08:16:14Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed [17.115185960327665]
  本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。 提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。 提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
  論文  参考訳（メタデータ） (2020-10-14T06:17:09Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。