論文の概要: CPOT: Channel Pruning via Optimal Transport

• arxiv url: http://arxiv.org/abs/2005.10451v1
• Date: Thu, 21 May 2020 03:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 22:46:21.579887
• Title: CPOT: Channel Pruning via Optimal Transport
• Title（参考訳）: CPOT: 最適輸送によるチャネルプルーニング
• Authors: Yucong Shen, Li Shen, Hao-Zhi Huang, Xuan Wang, Wei Liu
• Abstract要約: 本稿では,CPOT と呼ばれる Optimal Transport を用いたチャネルプルーニング手法を提案する。 分類タスクでは、CPOTはResNet-20、ResNet-32、ResNet-56、ResNet-110といった最先端の手法より優れている。 提案手法は,画像から画像への変換作業の難易度を抑えることで,StarGANモデルの圧縮に有効であることを示す。
• 参考スコア（独自算出の注目度）: 13.224112361298362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep neural networks (DNNs) lead to tremendously growing network parameters, making the deployments of DNNs on platforms with limited resources extremely difficult. Therefore, various pruning methods have been developed to compress the deep network architectures and accelerate the inference process. Most of the existing channel pruning methods discard the less important filters according to well-designed filter ranking criteria. However, due to the limited interpretability of deep learning models, designing an appropriate ranking criterion to distinguish redundant filters is difficult. To address such a challenging issue, we propose a new technique of Channel Pruning via Optimal Transport, dubbed CPOT. Specifically, we locate the Wasserstein barycenter for channels of each layer in the deep models, which is the mean of a set of probability distributions under the optimal transport metric. Then, we prune the redundant information located by Wasserstein barycenters. At last, we empirically demonstrate that, for classification tasks, CPOT outperforms the state-of-the-art methods on pruning ResNet-20, ResNet-32, ResNet-56, and ResNet-110. Furthermore, we show that the proposed CPOT technique is good at compressing the StarGAN models by pruning in the more difficult case of image-to-image translation tasks.
• Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)の進歩は、ネットワークパラメータを著しく増加させ、限られたリソースを持つプラットフォームへのDNNの展開を極めて困難にしている。 そのため、深層ネットワークアーキテクチャを圧縮し、推論プロセスを高速化する様々なプルーニング手法が開発されている。 既存のチャネルプルーニング手法のほとんどは、よく設計されたフィルタランキング基準に従って、重要でないフィルタを破棄する。 しかし、深層学習モデルの解釈性が限られているため、冗長フィルタを識別するための適切なランキング基準の設計は困難である。 このような課題に対処するため,CPOT と呼ばれる Optimal Transport を用いたチャネルプルーニング手法を提案する。 具体的には、最深部モデルにおける各層のチャネルに対するワッサーシュタイン・バリセンタ(Wasserstein barycenter)を、最適な輸送距離の下で確率分布の集合の平均とする。 次に、Wasserstein Barycentersにある冗長な情報を抽出する。 最後に,分類タスクにおいてCPOTはResNet-20,ResNet-32,ResNet-56,ResNet-110の最先端手法よりも優れていることを示す。 さらに,提案手法は,画像から画像への変換作業の難易度を抑えることで,StarGANモデルの圧縮に有効であることを示す。

関連論文リスト

• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Network Pruning Spaces [12.692532576302426]
  ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。 この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-19T06:52:05Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• Optimal channel selection with discrete QCQP [14.734454356396158]
  離散QCQPによるチャネル選択を最適に行う新しいチャネル選択法を提案する。 また,実推定時間を正確に推定する2次モデルを提案する。 CIFAR-10 と ImageNet を用いた実験により,提案手法は様々なネットワークアーキテクチャ上で,他の固定インピーダンスチャネルプルーニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-02-24T23:26:51Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• PDFNet: Pointwise Dense Flow Network for Urban-Scene Segmentation [0.0]
  我々はポイントワイド高密度フローネットワーク(PDFNet)という新しい軽量アーキテクチャを提案する。 PDFNetでは、ネットワークのすべての部分へのスムーズな勾配流を可能にするために、密集、残留、複数ショートカット接続を使用します。 提案手法は,小規模なクラスや少数のデータレギュレーションにおいて,ベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-09-21T10:39:46Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。