論文の概要: CoShNet: A Hybird Complex Valued Neural Network using Shearlets

• arxiv url: http://arxiv.org/abs/2208.06882v1
• Date: Sun, 14 Aug 2022 16:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:57:44.961330
• Title: CoShNet: A Hybird Complex Valued Neural Network using Shearlets
• Title（参考訳）: CoShNet: シーレットを用いたハイバード複合価値ニューラルネットワーク
• Authors: Manny Ko, Ujjawal K. Panchal, H\'ector Andrade-Loarca, Andres Mendez-Vazquez
• Abstract要約: ハイブリッドニューラルネットワークでは、高価な畳み込み層は、パラメータの大幅な減少を伴う訓練不能な固定変換に置き換えられる。 エッジやリッジ,ブロブといった重要なイメージ機能に対する堅牢なサポートで,Shearletを使用することを提案する。 結果として得られるネットワークは Complex Shearlets Network (CoShNet) と呼ばれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In a hybrid neural network, the expensive convolutional layers are replaced by a non-trainable fixed transform with a great reduction in parameters. In previous works, good results were obtained by replacing the convolutions with wavelets. However, wavelet based hybrid network inherited wavelet's lack of vanishing moments along curves and its axis-bias. We propose to use Shearlets with its robust support for important image features like edges, ridges and blobs. The resulting network is called Complex Shearlets Network (CoShNet). It was tested on Fashion-MNIST against ResNet-50 and Resnet-18, obtaining 92.2% versus 90.7% and 91.8% respectively. The proposed network has 49.9k parameters versus ResNet-18 with 11.18m and use 52 times fewer FLOPs. Finally, we trained in under 20 epochs versus 200 epochs required by ResNet and do not need any hyperparameter tuning nor regularization. Code: https://github.com/Ujjawal-K-Panchal/coshnet
• Abstract（参考訳）: ハイブリッドニューラルネットワークでは、高価な畳み込み層は、パラメータの大幅な減少を伴う訓練不能な固定変換に置き換えられる。 前回の研究では、畳み込みをウェーブレットに置き換えることで良い結果を得た。 しかし、ウェーブレットに基づくハイブリッドネットワークは、曲線に沿った消滅モーメントの欠如とその軸バイアスを継承した。 エッジやリッジ,ブロブといった重要なイメージ機能に対する堅牢なサポートで,Shearletを使用することを提案する。 このネットワークはComplex Shearlets Network (CoShNet)と呼ばれる。 Fashion-MNISTでResNet-50とResnet-18に対してテストされ、それぞれ92.2%、90.7%、91.8%を得た。 提案されたネットワークのパラメータは49.9kで、resnet-18は11.18m、フロップは52倍少ない。 最後に、ResNetが要求する200エポックに対して20エポック以下でトレーニングを行い、ハイパーパラメータチューニングや正規化は不要でした。 コード: https://github.com/ujjawal-k-panchal/coshnet

関連論文リスト

• Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
  スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
  論文  参考訳（メタデータ） (2023-05-18T13:30:29Z)
• MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
  我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
  論文  参考訳（メタデータ） (2022-11-07T04:31:17Z)
• A pruning method based on the dissimilarity of angle among channels and filters [13.878426750493784]
  畳み込みネットワークを符号化し、異なる符号化ノードの類似性を得る。 我々は、類似性に基づいて、畳み込みカーネル間の接続能力を評価する。 角度の相似性(DACP)に基づくチャネルプルーニングベースを提案する。
  論文  参考訳（メタデータ） (2022-10-29T05:47:57Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks [1.0814638303152528]
  ディープニューラルネットワーク(DNN)は過度にパラメータ化されているため、最近の研究で、高い精度でサブネットワークを含むことが判明した。 本稿では,これらの研究の行を高度に圧縮されながら正確なモデルにブレンドすることを提案する:Hedden-Fold Networks (HFNs)。 CIFAR100のResNet50と同等の性能を実現し、メモリは38.5倍、ImageNetのResNet34は26.8倍小さい。
  論文  参考訳（メタデータ） (2021-11-24T08:24:31Z)
• MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
  疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。 非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。 私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-08-12T17:59:41Z)
• Recurrent Parameter Generators [42.159272098922685]
  本稿では,多くの異なる畳み込み層に対して同じパラメータを反復的に使用してディープネットワークを構築するための汎用的手法を提案する。 我々は,従来のCNNモデルと同じような性能を実現するために,一層ニューラルネットワークを構築する方法を示す。
  論文  参考訳（メタデータ） (2021-07-15T04:23:59Z)
• CMT: Convolutional Neural Networks Meet Vision Transformers [68.10025999594883]
  画像内の長距離依存関係をキャプチャできるため、画像認識タスクに視覚トランスフォーマーがうまく適用されている。 変圧器と既存の畳み込みニューラルネットワーク(CNN)の間には、パフォーマンスと計算コストの差がまだ残っている。 長距離依存関係をキャプチャするトランスフォーマーと、局所的な特徴をモデル化するCNNを利用して、新しいトランスフォーマーベースのハイブリッドネットワークを提案する。 特に、私たちのCMT-SはImageNetで83.5%、FLOPでは14倍、EfficientNetでは2倍の精度を実現しています。
  論文  参考訳（メタデータ） (2021-07-13T17:47:19Z)
• MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
  MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。 MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。 例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
  論文  参考訳（メタデータ） (2020-11-24T18:59:39Z)
• Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
  この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。 周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-01-29T07:10:56Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。