論文の概要: An EMO Joint Pruning with Multiple Sub-networks: Fast and Effect
- arxiv url: http://arxiv.org/abs/2303.16212v1
- Date: Tue, 28 Mar 2023 12:05:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 17:09:15.119783
- Title: An EMO Joint Pruning with Multiple Sub-networks: Fast and Effect
- Title（参考訳）: 複数のサブネットワークを用いたemo継手プルーニング:高速化と効果
- Authors: Ronghua Shang, Songling Zhu, Licheng Jiao, Songhua Xu
- Abstract要約: 本稿では,複数のサブネットワークを用いたEMO共同作業により,空間の複雑さと資源消費を低減することを提案する。
ネットワーク全体の複雑なEMOプルーニングタスクを,複数のサブネットワーク上でより簡単なサブタスクに分解する,分割型EMOネットワークプルーニングフレームワークを提案する。
クロスネットワーク制約に基づくサブネットワークトレーニング手法は、サブネットワークが前者が生成した機能を機能制約によって処理できるように設計されている。
- 参考スコア（独自算出の注目度）: 42.65637448891185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The network pruning algorithm based on evolutionary multi-objective (EMO) can
balance the pruning rate and performance of the network. However, its
population-based nature often suffers from the complex pruning optimization
space and the highly resource-consuming pruning structure verification process,
which limits its application. To this end, this paper proposes an EMO joint
pruning with multiple sub-networks (EMO-PMS) to reduce space complexity and
resource consumption. First, a divide-and-conquer EMO network pruning framework
is proposed, which decomposes the complex EMO pruning task on the whole network
into easier sub-tasks on multiple sub-networks. On the one hand, this
decomposition reduces the pruning optimization space and decreases the
optimization difficulty; on the other hand, the smaller network structure
converges faster, so the computational resource consumption of the proposed
algorithm is lower. Secondly, a sub-network training method based on
cross-network constraints is designed so that the sub-network can process the
features generated by the previous one through feature constraints. This method
allows sub-networks optimized independently to collaborate better and improves
the overall performance of the pruned network. Finally, a multiple sub-networks
joint pruning method based on EMO is proposed. For one thing, it can accurately
measure the feature processing capability of the sub-networks with the
pre-trained feature selector. For another, it can combine multi-objective
pruning results on multiple sub-networks through global performance impairment
ranking to design a joint pruning scheme. The proposed algorithm is validated
on three datasets with different challenging. Compared with fifteen advanced
pruning algorithms, the experiment results exhibit the effectiveness and
efficiency of the proposed algorithm.
- Abstract（参考訳）: 進化的マルチオブジェクト(EMO)に基づくネットワークプルーニングアルゴリズムは、ネットワークのプルーニング率と性能のバランスをとることができる。
しかし、その人口ベースの性質は、複雑な刈り取り最適化空間と、その適用を制限するリソース消費の高い刈り取り構造検証プロセスに苦しむことが多い。
そこで本研究では,複数のサブネットワーク(EMO-PMS)を併用したEMOジョイントプルーニングを提案し,空間の複雑さと資源消費を低減する。
まず,ネットワーク全体の複雑なEMOプルーニングタスクを,複数のサブネットワーク上でより簡単なサブタスクに分解する,分割型EMOネットワークプルーニングフレームワークを提案する。
一方、この分解はプルーニング最適化空間を減少させ、最適化の難しさを減少させ、一方、より小さなネットワーク構造はより高速に収束するので、提案アルゴリズムの計算資源消費量は小さくなる。
第2に,クロスネットワーク制約に基づくサブネットワークトレーニング手法を設計し,そのサブネットワークが,前者が生成した機能を機能制約によって処理できるようにした。
この方法により、サブネットワークが独立に最適化され、協調性が向上し、刈り取られたネットワーク全体の性能が向上する。
最後に,EMOに基づく複数サブネットワーク共同プルーニング手法を提案する。
ひとつは、事前訓練された機能セレクタでサブネットワークの機能処理能力を正確に測定できることです。
別の方法として、グローバルパフォーマンス障害ランキングを通じて複数のサブネットワーク上でのマルチ目的プラニング結果を組み合わせることで、共同プラニングスキームを設計することができる。
提案するアルゴリズムは3つのデータセットで検証される。
15の高度な刈り取りアルゴリズムと比較すると,提案手法の有効性と有効性を示す実験結果が得られた。
関連論文リスト
- SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。
大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。
本手法は精度と計算効率の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-10-14T04:01:08Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。
MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。
実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
論文 参考訳（メタデータ） (2022-09-30T03:40:10Z) - i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。
i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。
高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
論文 参考訳（メタデータ） (2021-12-07T05:26:45Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。