論文の概要: Efficient Higher-order Convolution for Small Kernels in Deep Learning
- arxiv url: http://arxiv.org/abs/2404.16380v1
- Date: Thu, 25 Apr 2024 07:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 14:38:43.545401
- Title: Efficient Higher-order Convolution for Small Kernels in Deep Learning
- Title（参考訳）: ディープラーニングにおける小カーネルの高速高次畳み込み
- Authors: Zuocheng Wen, Lingzhong Guo,
- Abstract要約: 本稿では,より少ないメモリと計算コストで高階のVolterraフィルタを実現する新しい手法を提案する。
提案手法に基づいて,HLA(Higher-order Local Attention Block)と呼ばれる新しいアテンションモジュールを提案し,検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks (DCNNs) are a class of artificial neural networks, primarily for computer vision tasks such as segmentation and classification. Many nonlinear operations, such as activation functions and pooling strategies, are used in DCNNs to enhance their ability to process different signals with different tasks. Conceptional convolution, a linear filter, is the essential component of DCNNs while nonlinear convolution is generally implemented as higher-order Volterra filters, However, for Volterra filtering, significant memory and computational costs pose a primary limitation for its widespread application in DCNN applications. In this study, we propose a novel method to perform higher-order Volterra filtering with lower memory and computation cost in forward and backward pass in DCNN training. The proposed method demonstrates computational advantages compared with conventional Volterra filter implementation. Furthermore, based on the proposed method, a new attention module called Higher-order Local Attention Block (HLA) is proposed and tested on CIFAR-100 dataset, which shows competitive improvement for classification task. Source code is available at: https://github.com/WinterWen666/Efficient-High-Order-Volterra-Convolution.git
- Abstract（参考訳）: ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network、DCNN)は、主にセグメンテーションや分類といったコンピュータビジョンタスクのための人工知能ニューラルネットワークのクラスである。
アクティベーション関数やプーリング戦略などの多くの非線形演算は、異なるタスクで異なる信号を処理する能力を高めるためにDCNNで使用される。
線形フィルタである概念畳み込みはDCNNの必須成分であるが、非線形畳み込みは高次ボルテラフィルタとして一般的に実装されている。
本研究では,DCNNトレーニングにおいて,低メモリ・計算コストで高階のVolterraフィルタを実現するための新しい手法を提案する。
提案手法は従来のVolterraフィルタと比較して計算上の優位性を示す。
さらに,提案手法に基づいて,CIFAR-100データセット上でHLA(Higher-order Local Attention Block)と呼ばれる新たなアテンションモジュールを提案し,評価を行った。
ソースコードは、https://github.com/WinterWen666/Efficient-High-Order-Volterra-Convolution.gitで入手できる。
関連論文リスト
- As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。
本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。
提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
論文 参考訳（メタデータ） (2023-07-19T14:21:11Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Deep Networks with Fast Retraining [0.0]
本稿では,深層畳み込みニューラルネットワーク(DCNN)学習のための新しいMP逆ベース高速リトレーニング戦略を提案する。
各トレーニングでは、後進パスでトレーニングされた畳み込み層の数を制御するランダムな学習戦略が最初に利用される。
そこで,MP 逆ベースバッチ・バイ・バッチ・ラーニング・ストラテジーを開発し,産業規模の計算資源を使わずにネットワークを実装できるようにした。
論文 参考訳（メタデータ） (2020-08-13T15:17:38Z) - Learning Sparse Filters in Deep Convolutional Neural Networks with a
l1/l2 Pseudo-Norm [5.3791844634527495]
ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。
近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。
フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
論文 参考訳（メタデータ） (2020-07-20T11:56:12Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳（メタデータ） (2020-06-14T20:00:25Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z) - Gradient Centralization: A New Optimization Technique for Deep Neural
Networks [74.935141515523]
勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。
GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。
GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
論文 参考訳（メタデータ） (2020-04-03T10:25:00Z) - Volterra Neural Networks (VNNs) [24.12314339259243]
本稿では,畳み込みニューラルネットワークの複雑性を低減するために,Volterraフィルタにインスパイアされたネットワークアーキテクチャを提案する。
本稿では,Volterra Neural Network(VNN)の並列実装とその性能について述べる。
提案手法は,動作認識のためのUCF-101およびHMDB-51データセットを用いて評価し,CNN手法よりも優れていた。
論文 参考訳（メタデータ） (2019-10-21T19:22:38Z) - Gabor Convolutional Networks [103.87356592690669]
我々は、Gaborフィルタをディープ畳み込みニューラルネットワーク(DCNN)に組み込む、GCN(Gabor Convolutional Networks)と呼ばれる新しいディープモデルを提案する。
GCNは簡単に実装でき、一般的なディープラーニングアーキテクチャと互換性がある。
実験により,物体認識におけるアルゴリズムの超能力を示す。
論文 参考訳（メタデータ） (2017-05-03T14:37:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。