論文の概要: SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models

• arxiv url: http://arxiv.org/abs/2410.14720v1
• Date: Mon, 14 Oct 2024 04:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 04:44:34.753537
• Title: SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models
• Title（参考訳）: SGLP: 大規模深層モデル圧縮のための高速層分割計画法
• Authors: Yuqi Li, Yao Lu, Zeyu Dong, Chuanguang Yang, Yihao Chen, Jianping Gou,
• Abstract要約: レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 19.479746878680707
• License:
• Abstract: The deployment of Deep Neural Network (DNN)-based networks on resource-constrained devices remains a significant challenge due to their high computational and parameter requirements. To solve this problem, layer pruning has emerged as a potent approach to reduce network size and improve computational efficiency. However, existing layer pruning methods mostly overlook the intrinsic connections and inter-dependencies between different layers within complicated deep neural networks. This oversight can result in pruned models that do not preserve the essential characteristics of the pre-trained network as effectively as desired. To address this limitations, we propose a Similarity Guided fast Layer Partition pruning for compressing large deep models (SGLP), which focuses on pruning layers from network segments partitioned via representation similarity. Specifically, our presented method first leverages Centered Kernel Alignment (CKA) to indicate the internal representations among the layers of the pre-trained network, which provides us with a potent basis for layer pruning. Based on similarity matrix derived from CKA, we employ Fisher Optimal Segmentation to partition the network into multiple segments, which provides a basis for removing the layers in a segment-wise manner. In addition, our method innovatively adopts GradNorm for segment-wise layer importance evaluation, eliminating the need for extensive fine-tuning, and finally prunes the unimportant layers to obtain a compact network. Experimental results in image classification and for large language models (LLMs) demonstrate that our proposed SGLP outperforms the state-of-the-art methods in both accuracy and computational efficiency, presenting a more effective solution for deploying DNNs on resource-limited platforms. Our codes are available at https://github.com/itsnotacie/information-fusion-SGLP.
• Abstract（参考訳）: リソース制約のあるデバイスへのディープニューラルネットワーク(DNN)ベースのネットワークの展開は、高い計算量とパラメータ要求のため、依然として大きな課題である。 この問題を解決するために、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチとしてレイヤプルーニングが登場した。 しかし、既存のレイヤプルーニング手法は、複雑なディープニューラルネットワーク内の異なるレイヤ間の固有の接続と相互依存性を概ね見落としている。 この監視は、事前訓練されたネットワークの本質的な特性を望ましくは保存しないプルーンドモデルをもたらす可能性がある。 このような制約に対処するため,我々はSGLP(Simisity Guided fast Layer Partition pruning)を提案する。 具体的には、まずCKA(Centered Kernel Alignment)を用いて、事前学習したネットワーク層の内部表現を示し、層プルーニングの強力な基盤を提供する。 CKAから派生した類似性行列に基づいて、Fisher Optimal Segmentationを用いてネットワークを複数のセグメントに分割する。 さらに,我々はGradNormをセグメントワイド層重要度評価に革新的に採用し,広範囲な微調整の必要性を排除し,最終的に重要でない層を創り出してコンパクトネットワークを得る。 画像分類と大規模言語モデル(LLM)の実験結果から,提案したSGLPは精度と計算効率の両方において最先端の手法よりも優れており,資源制限されたプラットフォームにDNNをデプロイする上で,より効果的なソリューションが提示されている。 私たちのコードはhttps://github.com/itsnotacie/information-fusion-SGLP.comで利用可能です。

関連論文リスト

• Learning Sparse Neural Networks with Identity Layers [33.11654855515443]
  本稿では,ネットワーク空間と層間特徴類似性の関係について検討する。 CKA-SRと呼ばれるスパースネットワークトレーニングのためのプラグアンドプレイCKAベースのスポーラリティ正規化を提案する。 CKA-SRは、複数のState-Of-The-Artスパース訓練法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-07-14T14:58:44Z)
• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
  ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。 高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-07T05:26:45Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。