論文の概要: Pruning Deep Convolutional Neural Network Using Conditional Mutual Information

• arxiv url: http://arxiv.org/abs/2411.18578v1
• Date: Wed, 27 Nov 2024 18:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:50.264063
• Title: Pruning Deep Convolutional Neural Network Using Conditional Mutual Information
• Title（参考訳）: 条件付き相互情報を用いた深部畳み込みニューラルネットワーク
• Authors: Tien Vu-Van, Dat Du Thanh, Nguyen Ho, Mai Vu,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、画像分類タスクにおいて高い性能を達成するが、リソース制限ハードウェアへのデプロイは困難である。 本稿では,各層における最も情報性の高い特徴を識別し,選択的に保持するCNNに対して,構造化されたフィルタ解析手法を提案する。
• 参考スコア（独自算出の注目度）: 10.302118493842647
• License:
• Abstract: Convolutional Neural Networks (CNNs) achieve high performance in image classification tasks but are challenging to deploy on resource-limited hardware due to their large model sizes. To address this issue, we leverage Mutual Information, a metric that provides valuable insights into how deep learning models retain and process information through measuring the shared information between input features or output labels and network layers. In this study, we propose a structured filter-pruning approach for CNNs that identifies and selectively retains the most informative features in each layer. Our approach successively evaluates each layer by ranking the importance of its feature maps based on Conditional Mutual Information (CMI) values, computed using a matrix-based Renyi {\alpha}-order entropy numerical method. We propose several formulations of CMI to capture correlation among features across different layers. We then develop various strategies to determine the cutoff point for CMI values to prune unimportant features. This approach allows parallel pruning in both forward and backward directions and significantly reduces model size while preserving accuracy. Tested on the VGG16 architecture with the CIFAR-10 dataset, the proposed method reduces the number of filters by more than a third, with only a 0.32% drop in test accuracy.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、画像分類タスクにおいて高い性能を達成するが、大きなモデルサイズのため、リソース制限ハードウェアへのデプロイは困難である。 この問題に対処するために、入力特徴と出力ラベルとネットワーク層の間の共有情報を測定することによって、ディープラーニングモデルがどのように情報を保持し、処理するかに関する貴重な洞察を提供するメトリクスであるMutual Informationを利用する。 本研究では,各層において最も情報性の高い特徴を識別し,選択的に保持するCNNに対して,構造化されたフィルタ解析手法を提案する。 提案手法は,行列型 Renyi {\alpha} 次エントロピー数値法を用いて計算した条件付き相互情報(CMI)値に基づいて,特徴写像の重要性をランク付けすることで,各層を逐次評価する。 異なる層にまたがる特徴間の相関を捉えるために, CMI のいくつかの定式化を提案する。 次に,CMI値のカットポイントを決定するための様々な戦略を開発し,重要でない特徴を創出する。 このアプローチにより、前方方向と後方方向の両方で並列プルーニングが可能となり、精度を保ちながらモデルサイズを大幅に削減できる。 CIFAR-10データセットを用いてVGG16アーキテクチャ上でテストされ、提案手法は、テスト精度が0.32%低下しただけで、フィルタの数を3分の1以上削減する。

関連論文リスト

• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
  複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。 我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2021-11-15T08:27:21Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Sequential Hierarchical Learning with Distribution Transformation for Image Super-Resolution [83.70890515772456]
  画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。 特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。 実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-19T01:35:53Z)
• Associating Multi-Scale Receptive Fields for Fine-grained Recognition [5.079292308180334]
  マルチスケールの受容場を2つの操作で関連付けるために,新しい多層非局所(CNL)モジュールを提案する。 CNLはクエリ層とすべてのレスポンス層の間の相関を計算する。 モデルでは,多層層間の空間的依存関係を構築し,より識別的な特徴を学習する。
  論文  参考訳（メタデータ） (2020-05-19T01:16:31Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。