論文の概要: An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2103.02096v1
- Date: Wed, 3 Mar 2021 00:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 01:32:14.737583
- Title: An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks
- Title(参考訳): 伝統的な畳み込みニューラルネットワークへの熱帯畳み込みの代替手法
- Authors: Shiqing Fan, Ye Luo
- Abstract要約: トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。
TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。
我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
- 参考スコア(独自算出の注目度): 0.5837881923712392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) have been used in many machine learning
fields. In practical applications, the computational cost of convolutional
neural networks is often high with the deepening of the network and the growth
of data volume, mostly due to a large amount of multiplication operations of
floating-point numbers in convolution operations. To reduce the amount of
multiplications, we propose a new type of CNNs called Tropical Convolutional
Neural Networks (TCNNs) which are built on tropical convolutions in which the
multiplications and additions in conventional convolutional layers are replaced
by additions and min/max operations respectively. In addition, since tropical
convolution operators are essentially nonlinear operators, we expect TCNNs to
have higher nonlinear fitting ability than conventional CNNs. In the
experiments, we test and analyze several different architectures of TCNNs for
image classification tasks in comparison with similar-sized conventional CNNs.
The results show that TCNN can achieve higher expressive power than ordinary
convolutional layers on the MNIST and CIFAR10 image data set. In different
noise environments, there are wins and losses in the robustness of TCNN and
ordinary CNNs.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)は多くの機械学習分野で使われている。
実用的な応用において、畳み込みニューラルネットワークの計算コストは、畳み込み演算における浮動小数点数の乗算演算の多さから、ネットワークの深化とデータボリュームの増大とともに高まることが多い。
そこで本研究では,従来の畳み込み層における乗算と加算をそれぞれ加算と分/最大演算に置き換える熱帯畳み込み上に構築した,熱帯畳み込みニューラルネットワーク(TCNN)と呼ばれる新しいタイプのCNNを提案する。
さらに, 熱帯畳み込み演算子は本質的に非線形演算子であるため, 従来のCNNよりも高い非線形整合性が期待できる。
実験では、画像分類タスクにおけるTNNの異なるアーキテクチャを、類似のサイズのCNNと比較してテストし、解析する。
結果は、TCNNがMNISTおよびCIFAR10画像データセット上の通常の畳み込み層よりも高い表現力を達成できることを示しています。
異なるノイズ環境では、TCNNと通常のCNNの堅牢性には勝利と損失がある。
関連論文リスト
- Complex Network for Complex Problems: A comparative study of CNN and
Complex-valued CNN [0.0]
複素値畳み込みニューラルネットワーク(CV-CNN)は、複素値入力データの代数構造を保存することができる。
CV-CNNは、トレーニング可能なパラメータの実際の数の観点から、実数値CNNの2倍のトレーニング可能なパラメータを持つ。
本稿では,CNN,CNNx2(CNNの2倍のトレーニングパラメータを持つCNN),CV-CNNの比較検討を行った。
論文 参考訳(メタデータ) (2023-02-09T11:51:46Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Parameter Convex Neural Networks [13.42851919291587]
本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。
後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
論文 参考訳(メタデータ) (2022-06-11T16:44:59Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳(メタデータ) (2022-06-07T15:48:02Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳(メタデータ) (2020-10-10T09:58:43Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Depthwise Separable Convolutions Versus Recurrent Neural Networks for
Monaural Singing Voice Separation [17.358040670413505]
我々は歌声分離に重点を置き、RNNアーキテクチャを採用し、RNNをDWS畳み込み(DWS-CNN)に置き換える。
本稿では,DWS-CNNのチャネル数と層数による音源分離性能への影響について検討する。
その結果、RNNをDWS-CNNに置き換えることで、RNNアーキテクチャのパラメータの20.57%しか使用せず、それぞれ1.20、0.06、0.37dBの改善が得られることがわかった。
論文 参考訳(メタデータ) (2020-07-06T12:32:34Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image
Change Detection [40.58864817923371]
計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。
提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。
両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
論文 参考訳(メタデータ) (2020-05-29T04:01:32Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。