論文の概要: Performance-aware Approximation of Global Channel Pruning for Multitask CNNs

• arxiv url: http://arxiv.org/abs/2303.11923v1
• Date: Tue, 21 Mar 2023 15:15:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 14:30:11.979835
• Title: Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
• Title（参考訳）: マルチタスクCNNにおけるグローバルチャネルプルーニングの性能評価
• Authors: Hancheng Ye, Bo Zhang, Tao Chen, Jiayuan Fan, and Bin Wang
• Abstract要約: グローバルチャネルプルーニング(GCP)は、異なるレイヤにわたるチャネル(フィルタ)のサブセットを、パフォーマンスを損なうことなく、ディープモデルから削除することを目的としている。 本稿では,PAGCP(Performance-Aware Global Channel Pruning)フレームワークを提案する。 複数のマルチタスクデータセットの実験により、提案されたPAGCPは、小さなパフォーマンス低下を伴ってFLOPとパラメータを60%以上削減できることが示された。
• 参考スコア（独自算出の注目度）: 13.356477450355547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Global channel pruning (GCP) aims to remove a subset of channels (filters) across different layers from a deep model without hurting the performance. Previous works focus on either single task model pruning or simply adapting it to multitask scenario, and still face the following problems when handling multitask pruning: 1) Due to the task mismatch, a well-pruned backbone for classification task focuses on preserving filters that can extract category-sensitive information, causing filters that may be useful for other tasks to be pruned during the backbone pruning stage; 2) For multitask predictions, different filters within or between layers are more closely related and interacted than that for single task prediction, making multitask pruning more difficult. Therefore, aiming at multitask model compression, we propose a Performance-Aware Global Channel Pruning (PAGCP) framework. We first theoretically present the objective for achieving superior GCP, by considering the joint saliency of filters from intra- and inter-layers. Then a sequentially greedy pruning strategy is proposed to optimize the objective, where a performance-aware oracle criterion is developed to evaluate sensitivity of filters to each task and preserve the globally most task-related filters. Experiments on several multitask datasets show that the proposed PAGCP can reduce the FLOPs and parameters by over 60% with minor performance drop, and achieves 1.2x$\sim$3.3x acceleration on both cloud and mobile platforms.
• Abstract（参考訳）: global channel pruning(gcp)は、異なるレイヤにわたるチャネル(フィルタ)のサブセットを、パフォーマンスを損なうことなく、深いモデルから削除することを目的としている。 以前の作業では、単一タスクモデルのpruningか、単にマルチタスクシナリオに適応することにフォーカスしており、マルチタスクのpruningを扱う場合、以下の問題に直面する。 1) タスクミスマッチのため、分類タスク用のよく訓練されたバックボーンは、カテゴリーに敏感な情報を抽出できるフィルタの保存に焦点が当てられ、他のタスクがバックボーンの刈り取り時に有用なフィルタが生じる。 2) マルチタスク予測では, 層内あるいは層間における異なるフィルタは, 単一タスク予測よりも密接な関係があり, 操作が困難になる。 そこで我々は,マルチタスクモデル圧縮を目的としたPAGCP(Performance-Aware Global Channel Pruning)フレームワークを提案する。 まず, 層内および層間フィルタの共振特性を考慮し, 優れたGCPを実現するための目的を理論的に提示する。 そこで,各タスクに対するフィルタの感度を評価し,タスク関連フィルタを世界規模で保持するために,性能を意識したオラクル基準を考案する目的を最適化するために,逐次グリーディープルーニング戦略を提案する。 複数のマルチタスクデータセットの実験によると、提案されたPAGCPは、小さなパフォーマンス低下でFLOPとパラメータを60%以上削減し、クラウドとモバイルプラットフォームの両方で1.2x$\sim$3.3x加速を達成する。

関連論文リスト

• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• EMA-Net: Efficient Multitask Affinity Learning for Dense Scene Predictions [7.01633634930651]
  マルチタスク親和性学習ネットワーク(EMA-Net)について紹介する。 EMA-Netは、我々の新しいクロスタスク親和性学習(CTAL)モジュールを用いて、ローカル、グローバル、およびクロスタスクのインタラクションを適応的にキャプチャする。 この結果から,CNNを用いたデコーダに着目したモデルに対して,最先端のMTL性能を実現することができた。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
  マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。 マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
  論文  参考訳（メタデータ） (2023-04-13T22:15:47Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Multi-Task Classification of Sewer Pipe Defects and Properties using a Cross-Task Graph Neural Network Decoder [56.673599764041384]
  我々は、新しいデコーダ指向マルチタスク分類アーキテクチャ、クロスタスクグラフニューラルネットワーク(CT-GNN)を提案する。 CT-GNNは、クロスタスク情報を用いてタスクごとの解離予測を洗練する。 我々は,Swer-MLデータセットの4つの分類タスクすべてに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-15T15:36:50Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• MTP: Multi-Task Pruning for Efficient Semantic Segmentation Networks [32.84644563020912]
  セマンティックセグメンテーションネットワークのためのマルチタスクチャネルプルーニング手法を提案する。 各畳み込みフィルタの重要性は、任意の層のチャネルを分類と分割タスクによって同時に決定する。 いくつかのベンチマークによる実験結果は、最先端の刈り取り法よりも提案アルゴリズムの方が優れていることを示している。
  論文  参考訳（メタデータ） (2020-07-16T15:03:01Z)
• Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
  畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。 本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。 提案手法を4つの連続学習データセットで検証する。
  論文  参考訳（メタデータ） (2020-03-31T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。