論文の概要: Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy

• arxiv url: http://arxiv.org/abs/2312.04926v1
• Date: Fri, 8 Dec 2023 09:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 15:39:19.901768
• Title: Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy
• Title（参考訳）: 空間オーラエントロピーによる畳み込みニューラルネットワークの高速化
• Authors: Bogdan Musat, Razvan Andonie
• Abstract要約: プルーニング(pruning)は、畳み込みニューラルネットワーク(CNN)モデルの計算複雑性とメモリフットプリントを低減する一般的なテクニックである。 MI計算の既存の手法は、高い計算コストとノイズに対する感度に悩まされ、最適プルーニング性能が低下する。 空間オーラエントロピーを用いたCNNプルーニングのためのMI計算の改良手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, pruning has emerged as a popular technique to reduce the computational complexity and memory footprint of Convolutional Neural Network (CNN) models. Mutual Information (MI) has been widely used as a criterion for identifying unimportant filters to prune. However, existing methods for MI computation suffer from high computational cost and sensitivity to noise, leading to suboptimal pruning performance. We propose a novel method to improve MI computation for CNN pruning, using the spatial aura entropy. The spatial aura entropy is useful for evaluating the heterogeneity in the distribution of the neural activations over a neighborhood, providing information about local features. Our method effectively improves the MI computation for CNN pruning, leading to more robust and efficient pruning. Experimental results on the CIFAR-10 benchmark dataset demonstrate the superiority of our approach in terms of pruning performance and computational efficiency.
• Abstract（参考訳）: 近年,畳み込みニューラルネットワーク(CNN)モデルの計算複雑性とメモリフットプリントを低減する手法として,プルーニングが普及している。 ミューチュアル・インフォメーション(MI)は、重要でないフィルタをプーンに識別するための基準として広く使われている。 しかし、既存のmi計算手法は高い計算コストとノイズに対する感度に苦しむため、準最適プルーニング性能に繋がる。 空間オーラエントロピーを用いたCNNプルーニングのためのMI計算の改良手法を提案する。 空間オーラエントロピーは、周辺領域における神経活性化の分布の不均一性を評価し、局所的な特徴に関する情報を提供するのに有用である。 提案手法はCNNプルーニングのMI計算を効果的に改善し,より堅牢で効率的なプルーニングを実現する。 CIFAR-10ベンチマークデータセットの実験結果から, 刈り取り性能と計算効率の観点から, 提案手法の優位性を示した。

関連論文リスト

• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Distributed Neural Representation for Reactive in situ Visualization [23.80657290203846]
  Inlicit Neural representations (INR) は、大規模ボリュームデータを圧縮するための強力なツールとして登場した。 分散ニューラル表現を開発し,それをその場での可視化に最適化する。 我々の技術はプロセス間のデータ交換を排除し、最先端の圧縮速度、品質、比率を達成する。
  論文  参考訳（メタデータ） (2023-03-28T03:55:47Z)
• Spatio-temporal point processes with deep non-stationary kernels [18.10670233156497]
  我々は、非定常時間点過程をモデル化できる新しいディープ非定常影響カーネルを開発した。 主な考え方は、影響核を新しい一般的な低ランク分解と近似することである。 また,ログバリアペナルティを導入して条件強度の非負性制約を維持するための新たなアプローチも採っている。
  論文  参考訳（メタデータ） (2022-11-21T04:49:39Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。