論文の概要: Towards Biologically Plausible Convolutional Networks
- arxiv url: http://arxiv.org/abs/2106.13031v1
- Date: Tue, 22 Jun 2021 17:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 14:46:59.824355
- Title: Towards Biologically Plausible Convolutional Networks
- Title(参考訳): 生物学的に有望な畳み込みネットワークを目指して
- Authors: Roman Pogodin, Yash Mehta, Timothy P. Lillicrap, Peter E. Latham
- Abstract要約: 畳み込みネットワークにおける重み付けの代替法について検討する。
我々は,ローカル接続ネットワークに横接続を付加し,ヘビアン可塑性による学習を可能にすることを提案する。
この方法では、ローカル接続されたネットワークが、ImageNet上でほぼ畳み込み性能を実現することができる。
- 参考スコア(独自算出の注目度): 28.86743055298022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional networks are ubiquitous in deep learning. They are particularly
useful for images, as they reduce the number of parameters, reduce training
time, and increase accuracy. However, as a model of the brain they are
seriously problematic, since they require weight sharing - something real
neurons simply cannot do. Consequently, while neurons in the brain can be
locally connected (one of the features of convolutional networks), they cannot
be convolutional. Locally connected but non-convolutional networks, however,
significantly underperform convolutional ones. This is troublesome for studies
that use convolutional networks to explain activity in the visual system. Here
we study plausible alternatives to weight sharing that aim at the same
regularization principle, which is to make each neuron within a pool react
similarly to identical inputs. The most natural way to do that is by showing
the network multiple translations of the same image, akin to saccades in animal
vision. However, this approach requires many translations, and doesn't remove
the performance gap. We propose instead to add lateral connectivity to a
locally connected network, and allow learning via Hebbian plasticity. This
requires the network to pause occasionally for a sleep-like phase of "weight
sharing". This method enables locally connected networks to achieve nearly
convolutional performance on ImageNet, thus supporting convolutional networks
as a model of the visual stream.
- Abstract(参考訳): 畳み込みネットワークはディープラーニングにおいてユビキタスである。
パラメータの数を減らし、トレーニング時間を短縮し、精度を向上させるため、特に画像に有用である。
しかし、脳のモデルとして、それらは重みの共有を必要とするため、深刻な問題となる。
したがって、脳内のニューロンは局所的に結合できるが(畳み込みネットワークの特徴の1つ)、畳み込みはできない。
しかし、局所連結だが非畳み込みネットワークは、畳み込みネットワークを著しく過小評価している。
これは、畳み込みネットワークを使って視覚系の活動を説明する研究にとって厄介である。
ここでは、プール内の各ニューロンが同じ入力と同じように反応するようにするため、同じ正規化原理を目標とする重み共有の可能な代替案について検討する。
それを行う最も自然な方法は、同じ画像の複数の翻訳をネットワークに表示することです。
しかし、このアプローチには多くの翻訳が必要であり、パフォーマンスのギャップを取り除かない。
代わりに、ローカルに接続されたネットワークに横接続を追加し、Hebbianの可塑性による学習を可能にすることを提案する。
これにより、ネットワークは時折「軽量共有」の睡眠のようなフェーズに停止する必要がある。
この方法では、ローカルに接続されたネットワークがImageNet上でほぼ畳み込み性能を実現し、ビジュアルストリームのモデルとして畳み込みネットワークをサポートする。
関連論文リスト
- Spike-based computation using classical recurrent neural networks [0.0]
スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。
本稿では、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを改良し、イベントベースにする。
この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-06T12:19:12Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳(メタデータ) (2021-05-29T04:02:51Z) - Multipath Graph Convolutional Neural Networks [6.216778442751621]
本稿では,複数の浅いネットワークの出力を集約する新しいマルチパスグラフ畳み込みニューラルネットワークを提案する。
その結果,提案手法は精度の向上だけでなく,収束に要する訓練時間も少なくなることがわかった。
論文 参考訳(メタデータ) (2021-05-04T14:11:20Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Computational Separation Between Convolutional and Fully-Connected
Networks [35.39956227364153]
我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。
具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
論文 参考訳(メタデータ) (2020-10-03T14:24:59Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。
本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。
実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文 参考訳(メタデータ) (2020-06-08T05:15:17Z) - The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。
ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。
本研究は,広範囲な画像復号化実験により評価した。
論文 参考訳(メタデータ) (2020-06-03T16:50:54Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z) - Retrain or not retrain? -- efficient pruning methods of deep CNN
networks [0.30458514384586394]
畳み込みニューラルネットワーク(CNN)は、画像分類、オブジェクト検出、セマンティックセグメンテーションといった画像処理タスクにおいて重要な役割を果たしている。
CNNネットワークは数百から数百の積み重ねレイヤーと数メガバイトの重みを持つことが多い。
複雑性とメモリフットプリントを削減する方法の1つは、プルーニングである。
論文 参考訳(メタデータ) (2020-02-12T23:24:28Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳(メタデータ) (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。