論文の概要: Multi-Channel Orthogonal Transform-Based Perceptron Layers for Efficient ResNets
- arxiv url: http://arxiv.org/abs/2303.06797v2
- Date: Sun, 31 Mar 2024 14:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 16:04:03.594490
- Title: Multi-Channel Orthogonal Transform-Based Perceptron Layers for Efficient ResNets
- Title（参考訳）: 効率的なResNetのためのマルチチャネル直交変換型パーセプトロン層
- Authors: Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Salih Atici, Ahmet Enis Cetin,
- Abstract要約: 我々は、CNNの3ドル3ドルのConv2Dの代替として、変換ベースのニューラルネットワーク層を提案する。
提案した層は、離散コサイン変換(DCT)、アダマール変換(HT)、生物直交ブロックウェーブレット変換(BWT)などの変換に基づいて実装することができる。
- 参考スコア（独自算出の注目度）: 2.829818195105779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a set of transform-based neural network layers as an alternative to the $3\times3$ Conv2D layers in Convolutional Neural Networks (CNNs). The proposed layers can be implemented based on orthogonal transforms such as the Discrete Cosine Transform (DCT), Hadamard transform (HT), and biorthogonal Block Wavelet Transform (BWT). Furthermore, by taking advantage of the convolution theorems, convolutional filtering operations are performed in the transform domain using element-wise multiplications. Trainable soft-thresholding layers, that remove noise in the transform domain, bring nonlinearity to the transform domain layers. Compared to the Conv2D layer, which is spatial-agnostic and channel-specific, the proposed layers are location-specific and channel-specific. Moreover, these proposed layers reduce the number of parameters and multiplications significantly while improving the accuracy results of regular ResNets on the ImageNet-1K classification task. Furthermore, they can be inserted with a batch normalization layer before the global average pooling layer in the conventional ResNets as an additional layer to improve classification accuracy.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)における3ドル3ドルのConv2Dの代替として,変換ベースのニューラルネットワーク層を提案する。
提案した層は、離散コサイン変換(DCT)、アダマール変換(HT)、生物直交ブロックウェーブレット変換(BWT)などの直交変換に基づいて実装することができる。
さらに、畳み込み定理を生かして、要素ワイド乗算を用いた畳み込みフィルタリング演算を変換領域で行う。
変換領域のノイズを除去する訓練可能な軟保持層は、変換ドメイン層に非線形性をもたらす。
Conv2D層と比較すると,提案層は位置特異的であり,チャネル特異的である。
さらに、これらのレイヤは、ImageNet-1K分類タスクにおける正規ResNetの精度を向上しつつ、パラメータと乗算の数を著しく削減する。
さらに、従来のResNetsのグローバル平均プール層の前にバッチ正規化層を挿入することで、分類精度を向上させることができる。
関連論文リスト
- HoughToRadon Transform: New Neural Network Layer for Features
Improvement in Projection Space [83.88591755871734]
HoughToRadon Transformレイヤは、Hough Transformに組み込まれたニューラルネットワークの速度を改善するために設計された、新しいレイヤである。
オープンなMIDV-500データセットに関する我々の実験は、この新しいアプローチが時間を節約し、最先端の97.7%の精度を達成することを示している。
論文 参考訳（メタデータ） (2024-02-05T12:19:16Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer [3.506018346865459]
我々はDCT-perceptronと呼ぶ新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。
畳み込みフィルタリング操作はDCT領域で要素ワイド乗算を用いて実行される。
DCT-パーセプトロン層はパラメータの数と乗算を著しく削減する。
論文 参考訳（メタデータ） (2022-11-15T23:44:56Z) - Learning Invariant Representations for Equivariant Neural Networks Using
Orthogonal Moments [9.680414207552722]
標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。
近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
論文 参考訳（メタデータ） (2022-09-22T11:48:39Z) - Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks [7.906608953906891]
畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。
我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
論文 参考訳（メタデータ） (2022-01-07T23:52:41Z) - Scaling-up Diverse Orthogonal Convolutional Networks with a Paraunitary
Framework [16.577482515547793]
直交畳み込み層の理論的枠組みを提案する。
我々の枠組みは、その正確性を維持しつつ、様々な畳み込み層に高い表現力を与える。
我々の層は、以前の設計と比較してディープ・ネットワークにとってメモリと計算効率が良い。
論文 参考訳（メタデータ） (2021-06-16T20:50:59Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳（メタデータ） (2021-05-15T11:44:49Z) - Adaptive Convolution Kernel for Artificial Neural Networks [0.0]
本稿では,1層に異なる大きさのカーネルを提供するために,畳み込みカーネルのサイズを訓練する方法について述べる。
実験では、提案した適応層を単純な2層ネットワークの通常の畳み込み層と比較した。
オックスフォード・ペッツデータセットのセグメンテーション実験では、U字型ネットワーク内の1つの通常の畳み込み層を1つの7$times$7適応層に置き換えることで、学習性能と一般化能力が向上することを示した。
論文 参考訳（メタデータ） (2020-09-14T12:36:50Z) - Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。
6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
論文 参考訳（メタデータ） (2020-07-13T09:19:34Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。
RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
論文 参考訳（メタデータ） (2020-03-04T02:47:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。