論文の概要: Learning Convolutional Neural Networks in Frequency Domain
- arxiv url: http://arxiv.org/abs/2204.06718v1
- Date: Thu, 14 Apr 2022 03:08:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-16 00:51:06.363287
- Title: Learning Convolutional Neural Networks in Frequency Domain
- Title（参考訳）: 周波数領域における畳み込みニューラルネットワークの学習
- Authors: Hengyue Pan
- Abstract要約: 本稿では,周波数領域でトレーニング可能な新しいニューラルネットワークモデルであるCEMNetを提案する。
過度な適合を緩和するために重み付け機構を導入し, バッチ正規化, Leaky ReLUおよびDropoutの作業挙動を解析した。
実験結果から,CEMNetは周波数領域でよく動作し,MNISTやCIFAR-10データベース上での良好な性能を実現することが示唆された。
- 参考スコア（独自算出の注目度）: 2.39316898736036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural network (CNN) achieves impressive success in the field
of computer vision during the past few decades. As the core of CNNs, image
convolution operation helps CNNs to achieve good performance on image-related
tasks. However, image convolution is hard to be implemented and parallelized.
In this paper, we propose a novel neural network model, namely CEMNet, that can
be trained in frequency domain. The most important motivation of this research
is that we can use the very simple element-wise multiplication operation to
replace the image convolution in frequency domain based on Cross-Correlation
Theorem. We further introduce Weight Fixation Mechanism to alleviate
over-fitting, and analyze the working behavior of Batch Normalization, Leaky
ReLU and Dropout in frequency domain to design their counterparts for CEMNet.
Also, to deal with complex inputs brought by DFT, we design two branch network
structure for CEMNet. Experimental results imply that CEMNet works well in
frequency domain, and achieve good performance on MNIST and CIFAR-10 databases.
To our knowledge, CEMNet is the first model trained in Fourier Domain that
achieves more than 70\% validation accuracy on CIFAR-10 database.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnn)は、過去数十年間、コンピュータビジョンの分野で素晴らしい成功を収めてきた。
CNNのコアとして、画像畳み込み操作は、CNNが画像関連タスクにおいて優れたパフォーマンスを達成するのに役立つ。
しかし、画像畳み込みの実装や並列化は困難である。
本稿では,周波数領域でトレーニング可能な新しいニューラルネットワークモデルであるCEMNetを提案する。
この研究の最も重要な動機は、クロス相関理論に基づく周波数領域における画像畳み込みを置き換えるために、非常に単純な要素ワイズ乗算演算を使うことができることである。
さらに,重み付けを緩和する重み付け機構を導入し,周波数領域におけるバッチ正規化,漏洩ReLU,Dropoutの動作を解析して,CEMNetの対応品を設計する。
また、DFTがもたらす複雑な入力に対処するため、CEMNetのための2つの分岐ネットワーク構造を設計する。
実験の結果,CEMNetは周波数領域でよく動作し,MNISTおよびCIFAR-10データベース上での良好な性能が得られた。
我々の知る限り、CEMNetは、CIFAR-10データベース上で70%以上の検証精度を達成するFourier Domainでトレーニングされた最初のモデルです。
関連論文リスト
- Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Multiscale Low-Frequency Memory Network for Improved Feature Extraction
in Convolutional Neural Networks [13.815116154370834]
本稿では,Multiscale Low-Frequency Memory (MLFM) Networkを提案する。
MLFMは低周波情報を効率よく保存し、目標とするコンピュータビジョンタスクの性能を向上させる。
我々の研究は、既存のCNN基盤の上に構築され、コンピュータビジョンの今後の進歩の道を開く。
論文 参考訳（メタデータ） (2024-03-13T00:48:41Z) - TFDMNet: A Novel Network Structure Combines the Time Domain and
Frequency Domain Features [34.91485245048524]
本稿では、畳み込み層を置き換える新しい要素ワイド乗算層(EML)を提案する。
また、過度に適合する問題を緩和するための重み付け機構も導入する。
実験結果から,TFDMNetはMNIST, CIFAR-10, ImageNetデータベース上で優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2024-01-29T08:18:21Z) - Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳（メタデータ） (2023-12-22T18:56:35Z) - GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。
ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。
私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
論文 参考訳（メタデータ） (2023-02-09T10:17:17Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳（メタデータ） (2022-11-10T18:59:04Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - IC Networks: Remodeling the Basic Unit for Convolutional Neural Networks [8.218732270970381]
既存のCNNにIC構造を組み込んで性能を向上することができる。
ICネットワークのトレーニングを高速化するために,新しいトレーニング手法,すなわち弱いロジット蒸留(WLD)を提案する。
ImageNetの実験では、IC構造をResNet-50に統合し、トップ1エラーを22.38%から21.75%に削減した。
論文 参考訳（メタデータ） (2021-02-06T03:15:43Z) - Frequency learning for image classification [1.9336815376402716]
本稿では、トレーニング可能な周波数フィルタからなる入力画像のフーリエ変換を探索する新しい手法を提案する。
画像ブロックの周波数領域表現からグローバル特徴とローカル特徴の両方を学習するスライシング手法を提案する。
論文 参考訳（メタデータ） (2020-06-28T00:32:47Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。