論文の概要: Domino Saliency Metrics: Improving Existing Channel Saliency Metrics with Structural Information

• arxiv url: http://arxiv.org/abs/2205.02131v1
• Date: Wed, 4 May 2022 15:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 14:08:47.642222
• Title: Domino Saliency Metrics: Improving Existing Channel Saliency Metrics with Structural Information
• Title（参考訳）: Domino Saliency Metrics: 構造情報による既存のチャンネルのSaliency Metricsの改善
• Authors: Kaveena Persand, Andrew Anderson, David Gregg
• Abstract要約: 畳み込みニューラルネットワーク(CNN)におけるチャネルプルーニングによる重みの低減 重みを1つの層から取り除くと、ネットワークの層間の特徴マップのミスマッチ数が発生する。 Domino saliencyのメトリクスは、ほとんどのテストネットワークでプルーニング率を改善し、CIFAR-10でAlexNetで25%まで改善した。
• 参考スコア（独自算出の注目度）: 0.8043754868448141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning is used to reduce the number of weights in a Convolutional Neural Network (CNN). Channel pruning removes slices of the weight tensor so that the convolution layer remains dense. The removal of these weight slices from a single layer causes mismatching number of feature maps between layers of the network. A simple solution is to force the number of feature map between layers to match through the removal of weight slices from subsequent layers. This additional constraint becomes more apparent in DNNs with branches where multiple channels need to be pruned together to keep the network dense. Popular pruning saliency metrics do not factor in the structural dependencies that arise in DNNs with branches. We propose Domino metrics (built on existing channel saliency metrics) to reflect these structural constraints. We test Domino saliency metrics against the baseline channel saliency metrics on multiple networks with branches. Domino saliency metrics improved pruning rates in most tested networks and up to 25% in AlexNet on CIFAR-10.
• Abstract（参考訳）: チャネルプルーニングは、畳み込みニューラルネットワーク(CNN)の重量を減らすために用いられる。 チャネルプルーニングは、重みテンソルのスライスを除去し、畳み込み層が密度を保ち続ける。 これらの重みを1つの層から取り除くと、ネットワークの層間でのフィーチャマップのミスマッチ数が生じる。 単純な解決策は、後続のレイヤからウェイトスライスを取り除くことで、レイヤ間のフィーチャーマップの数を一致させることである。 この追加の制約は、ネットワークを高密度に保つために複数のチャネルをプルーピングする必要がある分岐を持つdnnでより顕著になる。 一般的なプルーニングサリエンシメトリクスは、ブランチを持つDNNで発生する構造的依存関係に影響を及ぼさない。 このような構造的制約を反映したDominoメトリック(既存のチャネルサリエンシメトリクスに基づく)を提案する。 ブランチを持つ複数のネットワーク上で、ベースラインチャネルサリエンシメトリクスに対して、ドミノサリエンシメトリクスをテストします。 Domino saliencyのメトリクスは、ほとんどのテストネットワークでプルーニング率を改善し、CIFAR-10でAlexNetで25%まで改善した。

関連論文リスト

• Redesigning Multi-Scale Neural Network for Crowd Counting [68.674652984003]
  本稿では, 集団カウントのための多スケール密度マップを階層的にマージする, 密度専門家の階層的混合を導入する。 階層構造の中では、すべてのスケールからの貢献を促進するために、専門家の競争とコラボレーションのスキームが提示されます。 実験の結果,提案手法は5つの公開データセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-08-04T21:49:29Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization [0.2538209532048866]
  畳み込みニューラルネットワーク(CNN)の性能と記憶効率を向上させる方法として、プルーニングと量子化が証明されている。 CNN重みテンソルにおける別の冗長性は、類似した値の繰り返しパターンの形で識別する。
  論文  参考訳（メタデータ） (2020-06-22T01:54:04Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)
• Retrain or not retrain? -- efficient pruning methods of deep CNN networks [0.30458514384586394]
  畳み込みニューラルネットワーク(CNN)は、画像分類、オブジェクト検出、セマンティックセグメンテーションといった画像処理タスクにおいて重要な役割を果たしている。 CNNネットワークは数百から数百の積み重ねレイヤーと数メガバイトの重みを持つことが多い。 複雑性とメモリフットプリントを削減する方法の1つは、プルーニングである。
  論文  参考訳（メタデータ） (2020-02-12T23:24:28Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。