Fugu-MT 論文翻訳(概要): Towards Biologically Plausible Convolutional Networks

論文の概要: Towards Biologically Plausible Convolutional Networks

arxiv url: http://arxiv.org/abs/2106.13031v1
Date: Tue, 22 Jun 2021 17:01:58 GMT
ステータス: 処理完了
システム内更新日: 2021-06-25 14:46:59.824355
Title: Towards Biologically Plausible Convolutional Networks
Title（参考訳）: 生物学的に有望な畳み込みネットワークを目指して
Authors: Roman Pogodin, Yash Mehta, Timothy P. Lillicrap, Peter E. Latham
Abstract要約: 畳み込みネットワークにおける重み付けの代替法について検討する。我々は,ローカル接続ネットワークに横接続を付加し,ヘビアン可塑性による学習を可能にすることを提案する。この方法では、ローカル接続されたネットワークが、ImageNet上でほぼ畳み込み性能を実現することができる。
参考スコア（独自算出の注目度）: 28.86743055298022
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional networks are ubiquitous in deep learning. They are particularly useful for images, as they reduce the number of parameters, reduce training time, and increase accuracy. However, as a model of the brain they are seriously problematic, since they require weight sharing - something real neurons simply cannot do. Consequently, while neurons in the brain can be locally connected (one of the features of convolutional networks), they cannot be convolutional. Locally connected but non-convolutional networks, however, significantly underperform convolutional ones. This is troublesome for studies that use convolutional networks to explain activity in the visual system. Here we study plausible alternatives to weight sharing that aim at the same regularization principle, which is to make each neuron within a pool react similarly to identical inputs. The most natural way to do that is by showing the network multiple translations of the same image, akin to saccades in animal vision. However, this approach requires many translations, and doesn't remove the performance gap. We propose instead to add lateral connectivity to a locally connected network, and allow learning via Hebbian plasticity. This requires the network to pause occasionally for a sleep-like phase of "weight sharing". This method enables locally connected networks to achieve nearly convolutional performance on ImageNet, thus supporting convolutional networks as a model of the visual stream.
Abstract（参考訳）: 畳み込みネットワークはディープラーニングにおいてユビキタスである。パラメータの数を減らし、トレーニング時間を短縮し、精度を向上させるため、特に画像に有用である。しかし、脳のモデルとして、それらは重みの共有を必要とするため、深刻な問題となる。したがって、脳内のニューロンは局所的に結合できるが(畳み込みネットワークの特徴の1つ)、畳み込みはできない。しかし、局所連結だが非畳み込みネットワークは、畳み込みネットワークを著しく過小評価している。これは、畳み込みネットワークを使って視覚系の活動を説明する研究にとって厄介である。ここでは、プール内の各ニューロンが同じ入力と同じように反応するようにするため、同じ正規化原理を目標とする重み共有の可能な代替案について検討する。それを行う最も自然な方法は、同じ画像の複数の翻訳をネットワークに表示することです。しかし、このアプローチには多くの翻訳が必要であり、パフォーマンスのギャップを取り除かない。代わりに、ローカルに接続されたネットワークに横接続を追加し、Hebbianの可塑性による学習を可能にすることを提案する。これにより、ネットワークは時折「軽量共有」の睡眠のようなフェーズに停止する必要がある。この方法では、ローカルに接続されたネットワークがImageNet上でほぼ畳み込み性能を実現し、ビジュアルストリームのモデルとして畳み込みネットワークをサポートする。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文参考訳（メタデータ） (2024-03-21T08:30:44Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文参考訳（メタデータ） (2021-05-29T04:02:51Z)
Multipath Graph Convolutional Neural Networks [6.216778442751621]
本稿では,複数の浅いネットワークの出力を集約する新しいマルチパスグラフ畳み込みニューラルネットワークを提案する。その結果,提案手法は精度の向上だけでなく,収束に要する訓練時間も少なくなることがわかった。
論文参考訳（メタデータ） (2021-05-04T14:11:20Z)
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文参考訳（メタデータ） (2021-01-31T11:32:30Z)
Computational Separation Between Convolutional and Fully-Connected Networks [35.39956227364153]
我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
論文参考訳（メタデータ） (2020-10-03T14:24:59Z)
Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文参考訳（メタデータ） (2020-06-08T05:15:17Z)
The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。本研究は,広範囲な画像復号化実験により評価した。
論文参考訳（メタデータ） (2020-06-03T16:50:54Z)
Retrain or not retrain? -- efficient pruning methods of deep CNN networks [0.30458514384586394]
畳み込みニューラルネットワーク(CNN)は、画像分類、オブジェクト検出、セマンティックセグメンテーションといった画像処理タスクにおいて重要な役割を果たしている。 CNNネットワークは数百から数百の積み重ねレイヤーと数メガバイトの重みを持つことが多い。複雑性とメモリフットプリントを削減する方法の1つは、プルーニングである。
論文参考訳（メタデータ） (2020-02-12T23:24:28Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。