論文の概要: Biologically Inspired Semantic Lateral Connectivity for Convolutional
Neural Networks
- arxiv url: http://arxiv.org/abs/2105.09830v1
- Date: Thu, 20 May 2021 15:24:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 15:38:48.642947
- Title: Biologically Inspired Semantic Lateral Connectivity for Convolutional
Neural Networks
- Title(参考訳): 畳み込みニューラルネットワークのための生物学的にインスパイアされた意味的側方接続
- Authors: Tonio Weidler, Julian Lehnen, Quinton Denman, D\'avid Seb\H{o}k,
Gerhard Weiss, Kurt Driessens, Mario Senden
- Abstract要約: フィルタ領域に沿って生物学的にインスパイアされたメキシコの帽子側接続プロファイルを確立することで、トレーニング可能なネットワークパラメータを追加することなく、様々な軽量畳み込みニューラルネットワークの分類精度を大幅に向上できることを示す。
また、変調フィルタアクティベーションの定常分布を解析的に決定し、時間的ダイナミクスのモデリングに繰り返しの使用を避けることが可能であることを示す。
- 参考スコア(独自算出の注目度): 0.5634005280792012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lateral connections play an important role for sensory processing in visual
cortex by supporting discriminable neuronal responses even to highly similar
features. In the present work, we show that establishing a biologically
inspired Mexican hat lateral connectivity profile along the filter domain can
significantly improve the classification accuracy of a variety of lightweight
convolutional neural networks without the addition of trainable network
parameters. Moreover, we demonstrate that it is possible to analytically
determine the stationary distribution of modulated filter activations and
thereby avoid using recurrence for modeling temporal dynamics. We furthermore
reveal that the Mexican hat connectivity profile has the effect of ordering
filters in a sequence resembling the topographic organization of feature
selectivity in early visual cortex. In an ordered filter sequence, this profile
then sharpens the filters' tuning curves.
- Abstract(参考訳): 側方接続は視覚野における感覚処理に重要な役割を担い、非常に類似した特徴に対しても識別可能な神経細胞応答をサポートする。
本研究では, フィルタ領域に沿って, 生物学的にインスパイアされたメキシコの帽子の横方向接続プロファイルを確立することで, 学習可能なネットワークパラメータを付加することなく, 様々な軽量畳み込みニューラルネットワークの分類精度を大幅に向上できることを示す。
さらに,変調フィルタ活性化の定常分布を解析的に決定することが可能であり,時間変動のモデル化に繰り返しを用いることを回避できることを示した。
さらに,メキシコの帽子の接続プロファイルは,初期視覚野における特徴選択性の地形構造に類似した順序でフィルタを順序付ける効果があることも明らかにした。
順序付きフィルタシーケンスでは、このプロファイルはフィルタのチューニング曲線を鋭くする。
関連論文リスト
- Adaptive Topological Feature via Persistent Homology: Filtration
Learning for Point Clouds [13.098609653951893]
ニューラルネットワークを用いてフィルタを適応的に学習するフレームワークを提案する。
フィルタ関数の有限次元近似に関する理論的結果を示し,提案したネットワークアーキテクチャを正当化する。
論文 参考訳(メタデータ) (2023-07-18T13:43:53Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳(メタデータ) (2023-05-29T08:27:17Z) - Gradient Mask: Lateral Inhibition Mechanism Improves Performance in
Artificial Neural Networks [5.591477512580285]
バックプロパゲーションにおける雑音勾配を効果的にフィルタするグラディエントマスクを提案する。
これにより、学習した特徴情報をネットワークにより集中的に格納できる。
ニューラルネットワークにおける横方向の抑制が、伝播勾配の品質をいかに改善するかを解析的に示す。
論文 参考訳(メタデータ) (2022-08-14T20:55:50Z) - Improving Neural Predictivity in the Visual Cortex with Gated Recurrent
Connections [0.0]
我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。
本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
論文 参考訳(メタデータ) (2022-03-22T17:27:22Z) - Deep Learning for the Benes Filter [91.3755431537592]
本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。
ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
論文 参考訳(メタデータ) (2022-03-09T14:08:38Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Exploring the Properties and Evolution of Neural Network Eigenspaces
during Training [0.0]
我々は,問題難易度とニューラルネットワーク容量が,対角的に予測性能に影響を及ぼすことを示した。
従来報告されていた尾部パターンのような病理パターンとは無関係に観察結果が得られた」。
論文 参考訳(メタデータ) (2021-06-17T14:18:12Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳(メタデータ) (2021-04-26T19:31:21Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳(メタデータ) (2020-10-06T01:20:27Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - How Do Neural Networks Estimate Optical Flow? A Neuropsychology-Inspired
Study [0.0]
本稿では,深部ニューラルネットワークが光フローをどのように推定するかを検討する。
本研究では,光フロー推定のためのエンコーダデコーダニューラルネットワークのプロトタイプとして,FlowNetSに着目した。
神経心理学的な研究において,動物の脳に存在する運動フィルターの発見に重要な役割を担ったフィルタ同定法を用いている。
論文 参考訳(メタデータ) (2020-04-20T14:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。