論文の概要: Filter Grafting for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2001.05868v3
• Date: Wed, 26 Feb 2020 13:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 06:06:43.888830
• Title: Filter Grafting for Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークのためのフィルタグラフト
• Authors: Fanxu Meng, Hao Cheng, Ke Li, Zhixin Xu, Rongrong Ji, Xing Sun, Gaungming Lu
• Abstract要約: ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
• 参考スコア（独自算出の注目度）: 71.39169475500324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a new learning paradigm called filter grafting, which aims to improve the representation capability of Deep Neural Networks (DNNs). The motivation is that DNNs have unimportant (invalid) filters (e.g., l1 norm close to 0). These filters limit the potential of DNNs since they are identified as having little effect on the network. While filter pruning removes these invalid filters for efficiency consideration, filter grafting re-activates them from an accuracy boosting perspective. The activation is processed by grafting external information (weights) into invalid filters. To better perform the grafting process, we develop an entropy-based criterion to measure the information of filters and an adaptive weighting strategy for balancing the grafted information among networks. After the grafting operation, the network has very few invalid filters compared with its untouched state, enpowering the model with more representation capacity. We also perform extensive experiments on the classification and recognition tasks to show the superiority of our method. For example, the grafted MobileNetV2 outperforms the non-grafted MobileNetV2 by about 7 percent on CIFAR-100 dataset. Code is available at https://github.com/fxmeng/filter-grafting.git.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の表現能力の向上を目的とした,フィルタグラフトと呼ばれる新しい学習パラダイムを提案する。 動機は、DNNが重要でないフィルタ(例えば、l1ノルムが0に近い)を持っていることである。 これらのフィルタは、ネットワークへの影響が少ないと認識されるため、dnnのポテンシャルを制限する。 フィルタプルーニングは効率を考慮してこれらの無効フィルタを除去するが、フィルタグラフトは精度向上の観点から再活性化する。 アクティベーションは外部情報(重み)を無効なフィルタに移植することで処理される。 グラフト処理をよりよく行うために,フィルタの情報を測定するエントロピーベースの基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。 グラフト操作後、ネットワークは非タッチ状態と比較して無効なフィルタがほとんどなく、より表現能力の高いモデルに力を与える。 また,提案手法の優越性を示すために,分類と認識タスクに関する広範囲な実験を行った。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。 コードはhttps://github.com/fxmeng/filter-grafting.gitで入手できる。

関連論文リスト

• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Convolutional Neural Network Pruning Using Filter Attenuation [10.282782377635106]
  畳み込みニューラルネットワーク(CNN)におけるフィルタは必須要素である フィルタプルーニング法では、チャネルや接続を含む全てのコンポーネントを持つフィルタが除去される。 弱いフィルタを直接除去しないフィルタ減衰に基づくCNNプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-02-09T06:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。