論文の概要: Channel Compression: Rethinking Information Redundancy among Channels in CNN Architecture

• arxiv url: http://arxiv.org/abs/2007.01696v1
• Date: Thu, 2 Jul 2020 10:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 15:02:26.633367
• Title: Channel Compression: Rethinking Information Redundancy among Channels in CNN Architecture
• Title（参考訳）: Channel Compression: CNNアーキテクチャにおけるチャネル間の情報冗長性の再考
• Authors: Jinhua Liang, Tao Zhang, and Guoqing Feng
• Abstract要約: 効率的な畳み込みニューラルネットワーク(CNN)の研究は、畳み込み計算を分解または最適化することによって特徴冗長性を取り除くことを目的としている。 本研究では,CNNアーキテクチャのチャネル間に特徴冗長性が存在すると仮定し,計算効率を高めるためのフリーウェイを提供する。 空間畳み込み, チャネルグループ化, プール操作の進展を受け入れるために, コンパクト畳み込みという新しい畳み込み構造を提案する。
• 参考スコア（独自算出の注目度）: 3.3018563701013988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression and acceleration are attracting increasing attentions due to the demand for embedded devices and mobile applications. Research on efficient convolutional neural networks (CNNs) aims at removing feature redundancy by decomposing or optimizing the convolutional calculation. In this work, feature redundancy is assumed to exist among channels in CNN architectures, which provides some leeway to boost calculation efficiency. Aiming at channel compression, a novel convolutional construction named compact convolution is proposed to embrace the progress in spatial convolution, channel grouping and pooling operation. Specifically, the depth-wise separable convolution and the point-wise interchannel operation are utilized to efficiently extract features. Different from the existing channel compression method which usually introduces considerable learnable weights, the proposed compact convolution can reduce feature redundancy with no extra parameters. With the point-wise interchannel operation, compact convolutions implicitly squeeze the channel dimension of feature maps. To explore the rules on reducing channel redundancy in neural networks, the comparison is made among different point-wise interchannel operations. Moreover, compact convolutions are extended to tackle with multiple tasks, such as acoustic scene classification, sound event detection and image classification. The extensive experiments demonstrate that our compact convolution not only exhibits high effectiveness in several multimedia tasks, but also can be efficiently implemented by benefiting from parallel computation.
• Abstract（参考訳）: 組込みデバイスやモバイルアプリケーションへの需要により、モデル圧縮とアクセラレーションが注目を集めている。 効率的な畳み込みニューラルネットワーク(cnns)の研究は、畳み込み計算を分解または最適化することで特徴冗長性を取り除くことを目的としている。 本研究では,CNNアーキテクチャのチャネル間に特徴冗長性が存在すると仮定し,計算効率を高めるためのフリーウェイを提供する。 チャネル圧縮を前提として,空間畳み込み,チャネルグループ化,プール操作の進展を受け入れるために,コンパクト畳み込みという新しい畳み込み構造を提案する。 具体的には、奥行き分離可能な畳み込みとポイントワイドチャネル操作を利用して特徴を効率的に抽出する。 学習可能な重みを通常導入する既存のチャネル圧縮法とは異なり、提案するコンパクト畳み込みは余分なパラメータなしで特徴冗長性を低減できる。 ポイントワイズチャネル間操作により、コンパクト畳み込みは特徴写像のチャネル次元を暗黙的に絞り込む。 ニューラルネットワークにおけるチャネル冗長性を低減するためのルールを検討するために、異なるポイントワイズチャネル間操作の比較を行う。 さらに,音場分類,音事象検出,画像分類などの複数の課題に対処するために,コンパクトな畳み込みが拡張される。 実験により, マルチメディアタスクにおいて, コンパクトな畳み込みは高い有効性を示すだけでなく, 並列計算によって効率よく実装できることを示した。

関連論文リスト

• Reduced storage direct tensor ring decomposition for convolutional neural networks compression [0.0]
  記憶率の低下した直接テンソルリング分解(RSDTR)に基づく新しい低ランクCNN圧縮法を提案する。 提案手法は, 円モードの順応性が高く, パラメータが大きいこと, FLOPS圧縮率が高いことが特徴である。 CIFAR-10とImageNetデータセットで実施された実験は、他の最先端のCNN圧縮アプローチと比較して、RDDTRの効率を明らかに示している。
  論文  参考訳（メタデータ） (2024-05-17T14:16:40Z)
• An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention [0.2538209532048866]
  本稿では,拡張畳み込み,マルチスケール融合(MSF),チャネルアテンションを組み合わせた効率的な音声分離ニューラルネットワーク ARFDCN を提案する。 実験結果から,本モデルでは性能と計算効率のバランスが良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T13:30:27Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Learnable Mixed-precision and Dimension Reduction Co-design for Low-storage Activation [9.838135675969026]
  深層畳み込みニューラルネットワーク(CNN)は多くの眼球運動の結果を得た。 リソース制約のあるエッジデバイスにCNNをデプロイすることは、推論中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。 チャネルをグループに分割し,その重要度に応じて圧縮ポリシーを割り当てる,学習可能な混合精度・次元縮小協調設計システムを提案する。
  論文  参考訳（メタデータ） (2022-07-16T12:53:52Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Dirichlet Pruning for Neural Network Compression [10.77469946354744]
  本稿では,大きなニューラルネットワークモデルを圧縮モデルに変換する新しい手法であるDirichlet pruningを紹介する。 VGGやResNetのような大規模アーキテクチャに関する広範な実験を行う。 提案手法は,最先端の圧縮性能を実現し,副産物として解釈可能な特徴を提供する。
  論文  参考訳（メタデータ） (2020-11-10T21:04:37Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks [57.64866581615309]
  完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。 その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
  論文  参考訳（メタデータ） (2020-06-19T15:45:03Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。