論文の概要: An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2103.02096v1
- Date: Wed, 3 Mar 2021 00:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 01:32:14.737583
- Title: An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks
- Title（参考訳）: 伝統的な畳み込みニューラルネットワークへの熱帯畳み込みの代替手法
- Authors: Shiqing Fan, Ye Luo
- Abstract要約: トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。
TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。
我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
- 参考スコア（独自算出の注目度）: 0.5837881923712392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) have been used in many machine learning
fields. In practical applications, the computational cost of convolutional
neural networks is often high with the deepening of the network and the growth
of data volume, mostly due to a large amount of multiplication operations of
floating-point numbers in convolution operations. To reduce the amount of
multiplications, we propose a new type of CNNs called Tropical Convolutional
Neural Networks (TCNNs) which are built on tropical convolutions in which the
multiplications and additions in conventional convolutional layers are replaced
by additions and min/max operations respectively. In addition, since tropical
convolution operators are essentially nonlinear operators, we expect TCNNs to
have higher nonlinear fitting ability than conventional CNNs. In the
experiments, we test and analyze several different architectures of TCNNs for
image classification tasks in comparison with similar-sized conventional CNNs.
The results show that TCNN can achieve higher expressive power than ordinary
convolutional layers on the MNIST and CIFAR10 image data set. In different
noise environments, there are wins and losses in the robustness of TCNN and
ordinary CNNs.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くの機械学習分野で使われている。
実用的な応用において、畳み込みニューラルネットワークの計算コストは、畳み込み演算における浮動小数点数の乗算演算の多さから、ネットワークの深化とデータボリュームの増大とともに高まることが多い。
そこで本研究では,従来の畳み込み層における乗算と加算をそれぞれ加算と分/最大演算に置き換える熱帯畳み込み上に構築した,熱帯畳み込みニューラルネットワーク(TCNN)と呼ばれる新しいタイプのCNNを提案する。
さらに, 熱帯畳み込み演算子は本質的に非線形演算子であるため, 従来のCNNよりも高い非線形整合性が期待できる。
実験では、画像分類タスクにおけるTNNの異なるアーキテクチャを、類似のサイズのCNNと比較してテストし、解析する。
結果は、TCNNがMNISTおよびCIFAR10画像データセット上の通常の畳み込み層よりも高い表現力を達成できることを示しています。
異なるノイズ環境では、TCNNと通常のCNNの堅牢性には勝利と損失がある。
関連論文リスト
- Recurrent Neural Networks for Still Images [0.0]
我々は、RNNが静止画をシーケンスとして解釈することで効果的に処理できることを論じる。
本稿では、画像などの2次元入力に適した新しいRNN設計と、従来の実装よりもメモリ効率が高いBiDirectional RNN(BiRNN)のカスタムバージョンを紹介する。
論文 参考訳（メタデータ） (2024-09-10T06:07:20Z) - Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。
モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文 参考訳（メタデータ） (2024-08-26T17:35:01Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳（メタデータ） (2020-10-10T09:58:43Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Depthwise Separable Convolutions Versus Recurrent Neural Networks for
Monaural Singing Voice Separation [17.358040670413505]
我々は歌声分離に重点を置き、RNNアーキテクチャを採用し、RNNをDWS畳み込み(DWS-CNN)に置き換える。
本稿では,DWS-CNNのチャネル数と層数による音源分離性能への影響について検討する。
その結果、RNNをDWS-CNNに置き換えることで、RNNアーキテクチャのパラメータの20.57%しか使用せず、それぞれ1.20、0.06、0.37dBの改善が得られることがわかった。
論文 参考訳（メタデータ） (2020-07-06T12:32:34Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image
Change Detection [40.58864817923371]
計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。
提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。
両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
論文 参考訳（メタデータ） (2020-05-29T04:01:32Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。