論文の概要: Isomorphic Pruning for Vision Models

• arxiv url: http://arxiv.org/abs/2407.04616v1
• Date: Fri, 5 Jul 2024 16:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 12:51:25.154957
• Title: Isomorphic Pruning for Vision Models
• Title（参考訳）: 視覚モデルのための等方的プルーニング
• Authors: Gongfan Fang, Xinyin Ma, Michael Bi Mi, Xinchao Wang,
• Abstract要約: 構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
• 参考スコア（独自算出の注目度）: 56.286064975443026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning reduces the computational overhead of deep neural networks by removing redundant sub-structures. However, assessing the relative importance of different sub-structures remains a significant challenge, particularly in advanced vision models featuring novel mechanisms and architectures like self-attention, depth-wise convolutions, or residual connections. These heterogeneous substructures usually exhibit diverged parameter scales, weight distributions, and computational topology, introducing considerable difficulty to importance comparison. To overcome this, we present Isomorphic Pruning, a simple approach that demonstrates effectiveness across a range of network architectures such as Vision Transformers and CNNs, and delivers competitive performance across different model sizes. Isomorphic Pruning originates from an observation that, when evaluated under a pre-defined importance criterion, heterogeneous sub-structures demonstrate significant divergence in their importance distribution, as opposed to isomorphic structures that present similar importance patterns. This inspires us to perform isolated ranking and comparison on different types of sub-structures for more reliable pruning. Our empirical results on ImageNet-1K demonstrate that Isomorphic Pruning surpasses several pruning baselines dedicatedly designed for Transformers or CNNs. For instance, we improve the accuracy of DeiT-Tiny from 74.52% to 77.50% by pruning an off-the-shelf DeiT-Base model. And for ConvNext-Tiny, we enhanced performance from 82.06% to 82.18%, while reducing the number of parameters and memory usage. Code is available at \url{https://github.com/VainF/Isomorphic-Pruning}.
• Abstract（参考訳）: 構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 しかしながら、異なるサブ構造の重要性を相対的に評価することは大きな課題であり、特に、自己注意、深みのある畳み込み、または残留接続のような新しいメカニズムとアーキテクチャを特徴とする高度な視覚モデルにおいてである。 これらの不均一な部分構造は、通常、分散パラメータスケール、重み分布、および計算トポロジーを示し、重要な比較にかなりの困難をもたらす。 これを解決するために、Isomorphic Pruningという、ビジョントランスフォーマーやCNNなど、さまざまなネットワークアーキテクチャで有効性を実証し、異なるモデルサイズで競合性能を提供するシンプルなアプローチを提案する。 アイソモルフィック・プルーニングは、事前定義された重要基準の下で評価されると、同種のサブ構造が、同様の重要パターンを示す同型構造とは対照的に、その重要分布に顕著なばらつきを示すという観察に由来する。 これにより、より信頼性の高いプルーニングのために、異なるタイプのサブ構造に対して、独立したランク付けと比較を行うことができます。 ImageNet-1Kにおける実験結果から, トランスフォーマーやCNN専用に設計されたプルーニングベースラインをアイソモーフィック・プルーニングが超越していることが判明した。 例えば、DeiT-Tinyの精度を74.52%から77.50%に改善する。 また、ConvNext-Tinyでは、82.06%から82.18%に性能を向上し、パラメータやメモリ使用量を削減しました。 コードは \url{https://github.com/VainF/Isomorphic-Pruning} で入手できる。

関連論文リスト

• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• "Understanding Robustness Lottery": A Geometric Visual Comparative Analysis of Neural Network Pruning Approaches [29.048660060344574]
  この研究は、異なるプルーニング手法がネットワークの内部的特徴表現とそれに伴うモデルパフォーマンスへの影響をどのように変化させるかを明らかにすることを目的としている。 モデル性能と特徴表現に対するプルーニングの影響を比較・強調するために,特徴表現の視覚幾何学的解析を導入する。 提案ツールは,プルーニング手法の詳細な比較環境と,一般的なデータ破損に対するモデル応答の包括的理解を提供する。
  論文  参考訳（メタデータ） (2022-06-16T04:44:13Z)
• Latent Network Embedding via Adversarial Auto-encoders [15.656374849760734]
  本稿では,逆グラフ自動エンコーダに基づく潜在ネットワーク埋め込みモデルを提案する。 この枠組みの下では、潜伏構造を発見する問題は、部分的な観測から潜伏関係を推測するものとして定式化されている。
  論文  参考訳（メタデータ） (2021-09-30T16:49:46Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。