Fugu-MT 論文翻訳(概要): Is Each Layer Non-trivial in CNN?

論文の概要: Is Each Layer Non-trivial in CNN?

arxiv url: http://arxiv.org/abs/2009.09938v2
Date: Thu, 3 Dec 2020 02:23:09 GMT
ステータス: 処理完了
システム内更新日: 2022-10-20 11:49:15.774312
Title: Is Each Layer Non-trivial in CNN?
Title（参考訳）: CNNでは各レイヤは非自明か?
Authors: Wei Wang, Yanjie Zhu, Zhuoxu Cui, Dong Liang
Abstract要約: 畳み込みニューラルネットワーク(CNN)モデルは、多くの分野で大きな成功を収めている。 ResNetの出現により、実際に使われているネットワークはより深くなりつつある。トレーニングセット上でネットワークをトレーニングした後、ネットワーク畳み込みカーネルをゼロに置き換え、テストセット上で結果モデルをテストする。
参考スコア（独自算出の注目度）: 11.854634156817642
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural network (CNN) models have achieved great success in many fields. With the advent of ResNet, networks used in practice are getting deeper and wider. However, is each layer non-trivial in networks? To answer this question, we trained a network on the training set, then we replace the network convolution kernels with zeros and test the result models on the test set. We compared experimental results with baseline and showed that we can reach similar or even the same performances. Although convolution kernels are the cores of networks, we demonstrate that some of them are trivial and regular in ResNet.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)モデルは、多くの分野で大きな成功を収めている。 ResNetの出現により、実際に使われているネットワークはより深くなりつつある。しかし、各層はネットワークにおいて非自明か? この質問に答えるために、トレーニングセット上でネットワークをトレーニングし、ネットワーク畳み込みカーネルをゼロに置き換え、テストセット上で結果モデルをテストする。実験結果とベースラインを比較した結果,類似あるいは同一のパフォーマンスに到達できることが判明した。畳み込みカーネルはネットワークのコアであるが、そのうちのいくつかはresnetにおいて自明で正規である。

関連論文リスト

Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文参考訳（メタデータ） (2024-03-21T08:30:44Z)
You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文参考訳（メタデータ） (2022-11-28T14:17:36Z)
Logits are predictive of network type [47.64219291655723]
どのディープネットワークが与えられたロジットベクトルを生成したのかを、確率よりはるかに高い精度で予測することが可能である。データセット上には、ランダムな重みや事前訓練された重みを持つネットワークや、微調整されたネットワークを多数使用しています。
論文参考訳（メタデータ） (2022-11-04T05:53:27Z)
Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文参考訳（メタデータ） (2022-03-15T17:49:08Z)
Multipath Graph Convolutional Neural Networks [6.216778442751621]
本稿では,複数の浅いネットワークの出力を集約する新しいマルチパスグラフ畳み込みニューラルネットワークを提案する。その結果,提案手法は精度の向上だけでなく,収束に要する訓練時間も少なくなることがわかった。
論文参考訳（メタデータ） (2021-05-04T14:11:20Z)
Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones? [16.5745082442791]
このような「当選宝くじ」に印字を刻む帰納バイアスについて検討する。残余ノード接続は入力空間において局所的であり、畳み込みネットワーク(CNN)に類似したパターンで構成されていることを示す。
論文参考訳（メタデータ） (2021-04-27T17:25:54Z)
Computational Separation Between Convolutional and Fully-Connected Networks [35.39956227364153]
我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
論文参考訳（メタデータ） (2020-10-03T14:24:59Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。ベースライン上での精度と学習収束性を一貫した改善を示す。提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文参考訳（メタデータ） (2020-04-10T11:09:50Z)
Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
論文参考訳（メタデータ） (2020-02-19T11:04:49Z)
Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文参考訳（メタデータ） (2019-12-30T18:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。