論文の概要: Pick-or-Mix: Dynamic Channel Sampling for ConvNets

• arxiv url: http://arxiv.org/abs/2406.10935v1
• Date: Sun, 16 Jun 2024 13:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:02:29.302272
• Title: Pick-or-Mix: Dynamic Channel Sampling for ConvNets
• Title（参考訳）: Pick-or-Mix: ConvNetの動的チャネルサンプリング
• Authors: Ashish Kumar, Daneul Kim, Jaesik Park, Laxmidhar Behera,
• Abstract要約: Pick-or-Mix (PiX) は動的チャネルサンプリングに有効な多目的モジュールである。 ネットワークダウンスケーリングおよび動的チャネルプルーニングアプリケーションにおいて、PiXが最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 32.737210300696624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Channel pruning approaches for convolutional neural networks (ConvNets) deactivate the channels, statically or dynamically, and require special implementation. In addition, channel squeezing in representative ConvNets is carried out via 1x1 convolutions which dominates a large portion of computations and network parameters. Given these challenges, we propose an effective multi-purpose module for dynamic channel sampling, namely Pick-or-Mix (PiX), which does not require special implementation. PiX divides a set of channels into subsets and then picks from them, where the picking decision is dynamically made per each pixel based on the input activations. We plug PiX into prominent ConvNet architectures and verify its multi-purpose utilities. After replacing 1x1 channel squeezing layers in ResNet with PiX, the network becomes 25% faster without losing accuracy. We show that PiX allows ConvNets to learn better data representation than widely adopted approaches to enhance networks' representation power (e.g., SE, CBAM, AFF, SKNet, and DWP). We also show that PiX achieves state-of-the-art performance on network downscaling and dynamic channel pruning applications.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(ConvNet)のチャネルプルーニングアプローチは、静的または動的にチャネルを非活性化し、特別な実装を必要とする。 さらに,1x1畳み込みによる1x1畳み込みにより,ConvNetsのチャネルスキューイングが実施され,計算処理やネットワークパラメータの大部分が支配される。 これらの課題を踏まえ、動的チャネルサンプリングのための効果的な多目的モジュール、すなわちPick-or-Mix(PiX)を提案する。 PiXは一連のチャネルをサブセットに分割し、それらから選択し、入力アクティベーションに基づいて各ピクセルごとに選択決定を動的に行う。 PiXを有名なConvNetアーキテクチャにプラグインし、その多目的ユーティリティを検証する。 ResNetの1x1チャネルキューイングレイヤをPiXに置き換えると、ネットワークは精度を損なうことなく25%高速になる。 ネットワークの表現力(例えば、SE、CBAM、AFF、SKNet、DWP)を高めるために広く採用されているアプローチよりも優れたデータ表現を学習できることを示す。 また、ネットワークダウンスケーリングおよび動的チャネルプルーニングアプリケーションにおいて、PiXが最先端の性能を達成することを示す。

関連論文リスト

• Slimmable Pruned Neural Networks [1.8275108630751844]
  S-Net上の各サブネットワークの精度は、同一サイズの個別訓練ネットワークよりも劣る。 プリミングによって学習されたサブネットワーク構造を有するSlimmable Pruned Neural Networks (SP-Net)を提案する。 SP-Netは任意の種類のチャネルプルーニング手法と組み合わせることができ、NASモデルのような複雑な処理や時間を要するアーキテクチャ検索は不要である。
  論文  参考訳（メタデータ） (2022-12-07T02:54:15Z)
• Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
  マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。 本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。 我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
  論文  参考訳（メタデータ） (2022-07-27T16:00:28Z)
• Dynamic Slimmable Denoising Network [64.77565006158895]
  DDSNet(Dynamic Slimmable Denoising Network)は、計算量が少なくて優れたDenoising品質を実現するための一般的な手法である。 OurNetには動的ゲートによる動的推論の能力が備わっている。 我々の実験は、最先端の個別に訓練された静的 denoising ネットワークよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-10-17T22:45:33Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
  人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。 シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。 シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
  論文  参考訳（メタデータ） (2021-04-13T17:59:31Z)
• Channel-Level Variable Quantization Network for Deep Image Compression [50.3174629451739]
  チャネルレベルの可変量子化ネットワークを提案し、重要なチャネルに対してより多くの畳み込みを動的に割り当て、無視可能なチャネルに対して退避する。 提案手法は優れた性能を実現し,より優れた視覚的再構成を実現する。
  論文  参考訳（メタデータ） (2020-07-15T07:20:39Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation [7.427799203626843]
  本稿では,MC-Netと呼ばれる医用画像分割のための深部畳み込みネットワークモデルを提案する。 エンコーダのネットワーク構造では、従来の単一チャネルの畳み込みではなく、マルチスケールの畳み込みを用いる。
  論文  参考訳（メタデータ） (2020-03-25T04:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。