論文の概要: Learning Versatile Convolution Filters for Efficient Visual Recognition

• arxiv url: http://arxiv.org/abs/2109.09310v1
• Date: Mon, 20 Sep 2021 06:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 16:27:07.126229
• Title: Learning Versatile Convolution Filters for Efficient Visual Recognition
• Title（参考訳）: 効率的な視覚認識のための可変畳み込みフィルタの学習
• Authors: Kai Han, Yunhe Wang, Chang Xu, Chunjing Xu, Enhua Wu, Dacheng Tao
• Abstract要約: 本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
• 参考スコア（独自算出の注目度）: 125.34595948003745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces versatile filters to construct efficient convolutional neural networks that are widely used in various visual recognition tasks. Considering the demands of efficient deep learning techniques running on cost-effective hardware, a number of methods have been developed to learn compact neural networks. Most of these works aim to slim down filters in different ways, \eg,~investigating small, sparse or quantized filters. In contrast, we treat filters from an additive perspective. A series of secondary filters can be derived from a primary filter with the help of binary masks. These secondary filters all inherit in the primary filter without occupying more storage, but once been unfolded in computation they could significantly enhance the capability of the filter by integrating information extracted from different receptive fields. Besides spatial versatile filters, we additionally investigate versatile filters from the channel perspective. Binary masks can be further customized for different primary filters under orthogonal constraints. We conduct theoretical analysis on network complexity and an efficient convolution scheme is introduced. Experimental results on benchmark datasets and neural networks demonstrate that our versatile filters are able to achieve comparable accuracy as that of original filters, but require less memory and computation cost.
• Abstract（参考訳）: 本稿では,様々な視覚認識タスクで広く使用される効率的な畳み込みニューラルネットワークを構築するための汎用フィルタを提案する。 コスト効率のよいハードウェア上で動作する効率的なディープラーニング技術の要求を踏まえ、コンパクトニューラルネットワークを学習するための多くの方法が開発されている。 これらの研究の多くは、フィルタをさまざまな方法でスリム化することを目的としている。 対照的に、付加的な観点からフィルタを扱う。 一連の二次フィルタは、二項マスクの助けを借りて一次フィルタから導出することができる。 これらの二次フィルタはすべて、より多くのストレージを占有することなく一次フィルタを継承するが、計算で展開されると、異なる受容フィールドから抽出された情報を統合することにより、フィルターの能力を大幅に向上させることができる。 空間多目的フィルタに加えて,チャネルの観点から多目的フィルタについても検討する。 二項マスクは直交制約の下で異なる一次フィルタのためにさらにカスタマイズできる。 ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み方式を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタはオリジナルのフィルタと同等の精度を達成できるが、メモリと計算コストは少ないことを示している。

関連論文リスト

• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Improve Convolutional Neural Network Pruning by Maximizing Filter Variety [0.0]
  ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:59Z)
• Direct design of biquad filter cascades with deep learning by sampling random polynomials [5.1118282767275005]
  本研究では, 何百万ものランダムフィルタで学習したニューラルネットワークを用いて, フィルタ係数空間に対する目標規模の応答から直接写像を学習する。 提案手法は,所望の応答に対するフィルタ係数の高速かつ高精度な推定を可能にする。 修正Yule-Walkerや勾配降下などの既存手法と比較し,IIRNetが平均的に高速かつ高精度であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:08Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。