論文の概要: Compressing audio CNNs with graph centrality based filter pruning

• arxiv url: http://arxiv.org/abs/2305.03391v1
• Date: Fri, 5 May 2023 09:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 14:41:55.322742
• Title: Compressing audio CNNs with graph centrality based filter pruning
• Title（参考訳）: グラフ中心性に基づくフィルタプルーニングによる音声cnn圧縮
• Authors: James A King, Arshdeep Singh, Mark D. Plumbley
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、現実世界の多くの問題に対する高性能なソリューションにおいて一般的な場所である。 CNNには多くのパラメータとフィルタがあり、一部は他のものよりもパフォーマンスに大きな影響を与えている。 我々は,最も高い「共通性」を持つフィルタを除去するプルーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.028643659869573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) are commonplace in high-performing solutions to many real-world problems, such as audio classification. CNNs have many parameters and filters, with some having a larger impact on the performance than others. This means that networks may contain many unnecessary filters, increasing a CNN's computation and memory requirements while providing limited performance benefits. To make CNNs more efficient, we propose a pruning framework that eliminates filters with the highest "commonality". We measure this commonality using the graph-theoretic concept of "centrality". We hypothesise that a filter with a high centrality should be eliminated as it represents commonality and can be replaced by other filters without affecting the performance of a network much. An experimental evaluation of the proposed framework is performed on acoustic scene classification and audio tagging. On the DCASE 2021 Task 1A baseline network, our proposed method reduces computations per inference by 71\% with 50\% fewer parameters at less than a two percentage point drop in accuracy compared to the original network. For large-scale CNNs such as PANNs designed for audio tagging, our method reduces 24\% computations per inference with 41\% fewer parameters at a slight improvement in performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、音声分類のような現実世界の多くの問題に対する高性能なソリューションにおいて一般的な場所である。 CNNには多くのパラメータとフィルタがあり、一部は他のものよりもパフォーマンスに大きな影響を与えている。 つまり、ネットワークには多くの不要なフィルタが含まれ、cnnの計算とメモリ要件を増加させながら、性能上のメリットも限定される。 CNNをより効率的にするために、最も高い「共通性」を持つフィルタを除去するプルーニングフレームワークを提案する。 この共通性は、グラフ理論の「中央性」の概念を用いて測定する。 ネットワークの性能に大きな影響を与えることなく,共通性を表現し,他のフィルタに置き換えることができるため,集中度の高いフィルタは排除されるべきであると仮定する。 音響シーン分類と音響タグ付けについて,提案手法の実験的検討を行った。 提案手法は,dcase 2021タスク1aベースラインネットワークにおいて,推定当たりの計算量を 71 % 削減し,50 % のパラメータを元のネットワークと比較して2 %未満の精度で削減する。 音声タグ付け用に設計されたPANNなどの大規模CNNでは,少ないパラメータで推論当たり24 %の計算を削減し,性能をわずかに向上させる。

関連論文リスト

• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• Low-complexity CNNs for Acoustic Scene Classification [23.661189257759535]
  本稿では,音響シーン分類(ASC)のための低複雑さフレームワークを提案する。 ASC用に設計されたフレームワークのほとんどは、学習能力とパフォーマンスの向上により、畳み込みニューラルネットワーク(CNN)を使用している。 CNNは、大きなサイズと高い計算複雑性のためにリソースが空いている。
  論文  参考訳（メタデータ） (2022-07-23T14:37:39Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms [0.9954382983583577]
  本稿では,事前学習したCNNの各レイヤの重み,バイアス,アクティベーションを最適に定量化する手法を提案する。 このプロセスでは、パラメータの層単位での量子化が大いに役立ちます。
  論文  参考訳（メタデータ） (2021-02-03T17:05:55Z)
• Rescaling CNN through Learnable Repetition of Network Parameters [2.137666194897132]
  CNNのパラメータの学習可能な反復に基づく新しい再スケーリング戦略を提案する。 小ベースネットワークが再スケールされると、より深いネットワークの最適化パラメータの6%以下で、より深いネットワークに匹敵するパフォーマンスを提供できることを示す。
  論文  参考訳（メタデータ） (2021-01-14T15:03:25Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。