論文の概要: DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer

• arxiv url: http://arxiv.org/abs/2211.08577v1
• Date: Tue, 15 Nov 2022 23:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 16:15:56.213909
• Title: DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer
• Title（参考訳）: DCTパーセプトロン層:畳み込み層に対する変換領域アプローチ
• Authors: Hongyi Pan, Xin Zhu, Salih Atici, Ahmet Enis Cetin
• Abstract要約: 我々はDCT-perceptronと呼ぶ新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。 畳み込みフィルタリング操作はDCT領域で要素ワイド乗算を用いて実行される。 DCT-パーセプトロン層はパラメータの数と乗算を著しく削減する。
• 参考スコア（独自算出の注目度）: 3.506018346865459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel Discrete Cosine Transform (DCT)-based neural network layer which we call DCT-perceptron to replace the $3\times3$ Conv2D layers in the Residual neural Network (ResNet). Convolutional filtering operations are performed in the DCT domain using element-wise multiplications by taking advantage of the Fourier and DCT Convolution theorems. A trainable soft-thresholding layer is used as the nonlinearity in the DCT perceptron. Compared to ResNet's Conv2D layer which is spatial-agnostic and channel-specific, the proposed layer is location-specific and channel-specific. The DCT-perceptron layer reduces the number of parameters and multiplications significantly while maintaining comparable accuracy results of regular ResNets in CIFAR-10 and ImageNet-1K. Moreover, the DCT-perceptron layer can be inserted with a batch normalization layer before the global average pooling layer in the conventional ResNets as an additional layer to improve classification accuracy.
• Abstract（参考訳）: 本稿では,Residual Neural Network (ResNet)における3ドル3ドルのConv2Dレイヤを置き換えるために,DCTパーセプトロンと呼ばれる新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。 畳み込みフィルタリング操作は、フーリエとDCTの畳み込み定理を利用して要素ワイド乗算を用いてDCT領域で実行される。 dctパーセプトロンの非線形性として、トレーニング可能な軟弱層を用いる。 ResNetのConv2D層と比較すると,提案層は位置固有であり,チャネル固有である。 DCTパーセプトロン層は、CIFAR-10とImageNet-1Kの通常のResNetの精度を同等に保ちながら、パラメータと乗算の数を著しく削減する。 さらに、DCT-パーセプトロン層を従来のResNetのグローバル平均プーリング層の前にバッチ正規化層で挿入することで、分類精度を向上させることができる。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Image Reconstruction for Accelerated MR Scan with Faster Fourier Convolutional Neural Networks [87.87578529398019]
  部分走査は、磁気共鳴イメージング(MRI)データ取得を2次元および3次元の両方で加速する一般的な手法である。 本稿では,Faster Fourier Convolution (FasterFC) と呼ばれる新しい畳み込み演算子を提案する。 2次元加速MRI法であるFasterFC-End-to-End-VarNetは、FasterFCを用いて感度マップと再構成品質を改善する。 k空間領域再構成を誘導する単一グループアルゴリズムを用いたFasterFC-based Single-to-group Network (FAS-Net) と呼ばれる3次元加速MRI法
  論文  参考訳（メタデータ） (2023-06-05T13:53:57Z)
• Deep Convolutional Tables: Deep Learning without Convolutions [12.069186324544347]
  本稿では,ドット生成ニューロンを使用しず,代わりに投票表の階層に依存するディープネットワークの新たな定式化を提案する。 ディープCTネットワークは、類似アーキテクチャのCNNに匹敵する精度を持つことが実験的に示されている。
  論文  参考訳（メタデータ） (2023-04-23T17:49:21Z)
• Multichannel Orthogonal Transform-Based Perceptron Layers for Efficient ResNets [2.829818195105779]
  我々は、CNNの3ドル3ドルのConv2Dの代替として、変換ベースのニューラルネットワーク層を提案する。 提案した層は、離散コサイン変換(DCT)、アダマール変換(HT)、生物直交ブロックウェーブレット変換(BWT)などの変換に基づいて実装することができる。
  論文  参考訳（メタデータ） (2023-03-13T01:07:32Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural Networks [7.906608953906891]
  畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。 フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。 我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
  論文  参考訳（メタデータ） (2022-01-07T23:52:41Z)
• Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution [80.93870349019332]
  本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
  論文  参考訳（メタデータ） (2021-11-27T15:38:57Z)
• Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition [2.4240083226965115]
  我々は、クロネッカー積分解を一般化して層を圧縮し、多次元に応用し、一般化クロネッカー積分解(GKPD)へと導く。 当社のアプローチでは,任意の畳み込みレイヤのドロップイン代替として使用可能なプラグイン・アンド・プレイモジュールが生成される。
  論文  参考訳（メタデータ） (2021-09-29T20:45:08Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• Res-CR-Net, a residual network with a novel architecture optimized for the semantic segmentation of microscopy images [0.5363346028859919]
  Res-CR-NetはDeep Neural Network(DNN)の一種で、異なるダイレーションレートの分離可能なアトラス畳み込みの束または畳み込みLSTMを持つ残効ブロックを特徴とする。 各残余ブロックで使用されるフィルタの数とブロック数だけが、様々な顕微鏡画像のネットワークトレーニングを最適化するために修正する必要がある唯一のハイパーパラメータである。
  論文  参考訳（メタデータ） (2020-04-14T21:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。