論文の概要: Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation

• arxiv url: http://arxiv.org/abs/2004.12311v2
• Date: Fri, 15 Jan 2021 03:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 12:59:52.854495
• Title: Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation
• Title（参考訳）: 深層ニューラルネットワークのためのフィルタグラフト:理由、方法、および栽培
• Authors: Hao Cheng, Fanxu Meng, Ke Li, Yuting Gao, Guangming Lu, Xing Sun, Rongrong Ji
• Abstract要約: フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
• 参考スコア（独自算出の注目度）: 86.91324735966766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter is the key component in modern convolutional neural networks (CNNs). However, since CNNs are usually over-parameterized, a pre-trained network always contain some invalid (unimportant) filters. These filters have relatively small $l_{1}$ norm and contribute little to the output (\textbf{Reason}). While filter pruning removes these invalid filters for efficiency consideration, we tend to reactivate them to improve the representation capability of CNNs. In this paper, we introduce filter grafting (\textbf{Method}) to achieve this goal. The activation is processed by grafting external information (weights) into invalid filters. To better perform the grafting, we develop a novel criterion to measure the information of filters and an adaptive weighting strategy to balance the grafted information among networks. After the grafting operation, the network has fewer invalid filters compared with its initial state, enpowering the model with more representation capacity. Meanwhile, since grafting is operated reciprocally on all networks involved, we find that grafting may lose the information of valid filters when improving invalid filters. To gain a universal improvement on both valid and invalid filters, we compensate grafting with distillation (\textbf{Cultivation}) to overcome the drawback of grafting . Extensive experiments are performed on the classification and recognition tasks to show the superiority of our method. Code is available at \textcolor{black}{\emph{https://github.com/fxmeng/filter-grafting}}.
• Abstract（参考訳）: フィルタは現代の畳み込みニューラルネットワーク(CNN)の主要なコンポーネントである。 しかし、CNNは通常過パラメータ化されているため、事前訓練されたネットワークは常に無効な(重要でない)フィルタを含んでいる。 これらのフィルタは比較的小さい$l_{1}$ノルムを持ち、出力にはほとんど寄与しない(\textbf{Reason})。 フィルタプルーニングは効率を考慮してこれらの無効フィルタを除去するが、CNNの表現能力を改善するために再活性化する傾向がある。 本稿では,この目的を達成するためにフィルタグラフト(\textbf{Method})を導入する。 アクティベーションは外部情報(重み)を無効なフィルタに移植することで処理される。 グラフト処理をよりよく行うために,フィルタの情報を測定するための新しい基準と,グラフトした情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。 グラフト操作後、ネットワークは初期状態と比較して無効なフィルタを少なくし、より表現能力の高いモデルに力を与える。 一方,すべてのネットワークで相互にグラフト操作を行うため,不正フィルタを改善する際に有効なフィルタの情報を失う可能性がある。 有効フィルタと無効フィルタの両方で普遍的な改善を実現するため, グラフト処理を蒸留(\textbf{Cultivation})で補償し, グラフト処理の欠点を克服する。 本手法の優越性を示すために,分類と認識タスクに関する広範囲な実験を行った。 コードは \textcolor{black}{\emph{https://github.com/fxmeng/filter-grafting}} で利用可能である。

関連論文リスト

• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• IterativePFN: True Iterative Point Cloud Filtering [18.51768749680731]
  基本的な3Dビジョンタスクは、ポイントクラウドフィルタリング(point cloud filtering)またはデノイング(denoising)として知られるノイズの除去である。 本報告では,本フィルタを内部でモデル化する複数のイテレーションで構成されたIterativePFN(Iterative Cloud Filtering Network)を提案する。 我々の手法は最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2023-04-04T04:47:44Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Convolutional Neural Network Pruning Using Filter Attenuation [10.282782377635106]
  畳み込みニューラルネットワーク(CNN)におけるフィルタは必須要素である フィルタプルーニング法では、チャネルや接続を含む全てのコンポーネントを持つフィルタが除去される。 弱いフィルタを直接除去しないフィルタ減衰に基づくCNNプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-02-09T06:31:24Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。