論文の概要: Orthogonal Transform Domain Approaches for the Convolutional Layer
- arxiv url: http://arxiv.org/abs/2303.06797v1
- Date: Mon, 13 Mar 2023 01:07:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 17:01:26.235883
- Title: Orthogonal Transform Domain Approaches for the Convolutional Layer
- Title(参考訳): 直交変換領域による畳み込み層へのアプローチ
- Authors: Hongyi Pan, Xin Zhu, Salih Atici, Ahmet Enis Cetin
- Abstract要約: 我々は、CNNの3ドル3ドルのConv2Dの代替として、変換ベースのニューラルネットワーク層を提案する。
提案するレイヤはパラメータ数と乗算数を著しく削減し,通常のResNetの精度を向上する。
- 参考スコア(独自算出の注目度): 3.506018346865459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a set of transform-based neural network layers as
an alternative to the $3\times3$ Conv2D layers in Convolutional Neural Networks
(CNNs). The proposed layers can be implemented based on orthogonal transforms
such as Discrete Cosine Transform (DCT) and Hadamard transform (HT), and the
biorthogonal Block Wavelet Transform (BWT). Convolutional filtering operations
are performed in the transform domain using element-wise multiplications by
taking advantage of the convolution theorems. Trainable soft-thresholding
layers that remove noise in the transform domain bring nonlinearity to the
transform domain layers. Compared to the Conv2D layer which is spatial-agnostic
and channel-specific, the proposed layers are location-specific and
channel-specific. The proposed layers reduce the number of parameters and
multiplications significantly while improving the accuracy results of regular
ResNets on the ImageNet-1K classification task. Furthermore, the proposed
layers can be inserted with a batch normalization layer before the global
average pooling layer in the conventional ResNets as an additional layer to
improve classification accuracy with a negligible increase in the number of
parameters and computational cost.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(CNN)における3ドル3ドルのConv2Dの代替として,変換ベースのニューラルネットワーク層を提案する。
提案手法は, 離散コサイン変換 (DCT) やアダマール変換 (HT) などの直交変換と, 生体直交ブロックウェーブレット変換 (BWT) に基づいて実装することができる。
畳み込みフィルタ演算は、畳み込み定理を利用して要素ワイド乗算を用いて変換領域で実行される。
変換領域のノイズを取り除くトレーニング可能なソフトthresholding layerは、変換ドメイン層に非線形性をもたらす。
Conv2D層と比較すると,提案層は位置特異的であり,チャネル特異的である。
提案するレイヤは,ImageNet-1K分類タスクにおける正規ResNetの精度を向上しつつ,パラメータ数と乗算数を著しく削減する。
さらに、従来のResNetのグローバル平均プール層の前にバッチ正規化層を挿入することで、パラメータ数や計算コストの無視できる増加を伴う分類精度を向上させることができる。
関連論文リスト
- HoughToRadon Transform: New Neural Network Layer for Features
Improvement in Projection Space [83.88591755871734]
HoughToRadon Transformレイヤは、Hough Transformに組み込まれたニューラルネットワークの速度を改善するために設計された、新しいレイヤである。
オープンなMIDV-500データセットに関する我々の実験は、この新しいアプローチが時間を節約し、最先端の97.7%の精度を達成することを示している。
論文 参考訳(メタデータ) (2024-02-05T12:19:16Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer [3.506018346865459]
我々はDCT-perceptronと呼ぶ新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。
畳み込みフィルタリング操作はDCT領域で要素ワイド乗算を用いて実行される。
DCT-パーセプトロン層はパラメータの数と乗算を著しく削減する。
論文 参考訳(メタデータ) (2022-11-15T23:44:56Z) - Learning Invariant Representations for Equivariant Neural Networks Using
Orthogonal Moments [9.680414207552722]
標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。
近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
論文 参考訳(メタデータ) (2022-09-22T11:48:39Z) - Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks [7.906608953906891]
畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。
我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
論文 参考訳(メタデータ) (2022-01-07T23:52:41Z) - Scaling-up Diverse Orthogonal Convolutional Networks with a Paraunitary
Framework [16.577482515547793]
直交畳み込み層の理論的枠組みを提案する。
我々の枠組みは、その正確性を維持しつつ、様々な畳み込み層に高い表現力を与える。
我々の層は、以前の設計と比較してディープ・ネットワークにとってメモリと計算効率が良い。
論文 参考訳(メタデータ) (2021-06-16T20:50:59Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳(メタデータ) (2021-05-15T11:44:49Z) - Adaptive Convolution Kernel for Artificial Neural Networks [0.0]
本稿では,1層に異なる大きさのカーネルを提供するために,畳み込みカーネルのサイズを訓練する方法について述べる。
実験では、提案した適応層を単純な2層ネットワークの通常の畳み込み層と比較した。
オックスフォード・ペッツデータセットのセグメンテーション実験では、U字型ネットワーク内の1つの通常の畳み込み層を1つの7$times$7適応層に置き換えることで、学習性能と一般化能力が向上することを示した。
論文 参考訳(メタデータ) (2020-09-14T12:36:50Z) - Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。
6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
論文 参考訳(メタデータ) (2020-07-13T09:19:34Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳(メタデータ) (2020-06-22T06:57:10Z) - Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。
RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
論文 参考訳(メタデータ) (2020-03-04T02:47:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。