論文の概要: Emergence of Lie symmetries in functional architectures learned by CNNs
- arxiv url: http://arxiv.org/abs/2104.08537v1
- Date: Sat, 17 Apr 2021 13:23:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 08:37:12.481359
- Title: Emergence of Lie symmetries in functional architectures learned by CNNs
- Title（参考訳）: CNNで学ぶ機能的アーキテクチャにおけるLie対称性の出現
- Authors: Federico Bertoni, Noemi Montobbio, Alessandro Sarti and Giovanna Citti
- Abstract要約: 本研究では,自然画像の学習において,畳み込みニューラルネットワーク(CNN)の初期層における対称性の自発的発達について検討する。
私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
- 参考スコア（独自算出の注目度）: 63.69764116066748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we study the spontaneous development of symmetries in the early
layers of a Convolutional Neural Network (CNN) during learning on natural
images. Our architecture is built in such a way to mimic the early stages of
biological visual systems. In particular, it contains a pre-filtering step
$\ell^0$ defined in analogy with the Lateral Geniculate Nucleus (LGN).
Moreover, the first convolutional layer is equipped with lateral connections
defined as a propagation driven by a learned connectivity kernel, in analogy
with the horizontal connectivity of the primary visual cortex (V1). The layer
$\ell^0$ shows a rotational symmetric pattern well approximated by a Laplacian
of Gaussian (LoG), which is a well-known model of the receptive profiles of LGN
cells. The convolutional filters in the first layer can be approximated by
Gabor functions, in agreement with well-established models for the profiles of
simple cells in V1. We study the learned lateral connectivity kernel of this
layer, showing the emergence of orientation selectivity w.r.t. the learned
filters. We also examine the association fields induced by the learned kernel,
and show qualitative and quantitative comparisons with known group-based models
of V1 horizontal connectivity. These geometric properties arise spontaneously
during the training of the CNN architecture, analogously to the emergence of
symmetries in visual systems thanks to brain plasticity driven by external
stimuli.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(cnn)の初期層における自然画像学習における対称性の自発的発達について検討する。
私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
特に、Larial Geniculate Nucleus (LGN) と類似して定義された事前フィルタリングステップ $\ell^0$ を含む。
さらに、第1の畳み込み層は、一次視覚野の水平接続と類似して、学習された接続カーネルによって駆動される伝搬として定義される横接続を備える(V1)。
層$\ell^0$は、LGN細胞の受容プロファイルのよく知られたモデルであるガウスのラプラシアン(LoG)によってよく近似された回転対称パターンを示す。
第1層の畳み込みフィルタは、V1の単純細胞のプロファイルに関する確立されたモデルと一致して、Gabor関数によって近似することができる。
本研究では, 学習したフィルタの向き選択性の出現を示すとともに, 学習した側方接続カーネルについて検討する。
また、学習したカーネルによって引き起こされる関連フィールドについても検討し、V1水平接続の既知のグループベースモデルと定性的かつ定量的に比較した。
これらの幾何学的性質は、外部刺激によって引き起こされる脳の可塑性による視覚系における対称性の出現と類似して、CNNアーキテクチャのトレーニング中に自然に生じる。
関連論文リスト
- Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳（メタデータ） (2024-01-25T19:05:53Z) - Explaining V1 Properties with a Biologically Constrained Deep Learning
Architecture [0.0]
畳み込みニューラルネットワーク(CNN)は、生物学的特異性の欠如にもかかわらず、腹側視覚の流れの有望なモデルとして登場した。
中心周囲のアンタゴニズム,局所受容場,チューニング正規化,皮質拡大をシミュレートするアーキテクチャコンポーネントの統合により,モデル-V1アライメントの大幅な改善が示された。
我々は,これまでにないV1の説明に寄与するアーキテクチャ要素の集合を体系的に確立し,NeuroAIの分野における重要な進歩を浮き彫りにした。
論文 参考訳（メタデータ） (2023-05-18T19:48:05Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Top-down inference in an early visual cortex inspired hierarchical
Variational Autoencoder [0.0]
我々は変分オートエンコーダの進歩を利用して、自然画像に基づいて訓練された疎い符号化階層型VAEを用いて、初期視覚野を調査する。
一次および二次視覚皮質に見られるものと類似した表現は、軽度の誘導バイアスの下で自然に現れる。
生成モデルを用いた2つの計算のシグネチャに対して,ニューロサイエンスに着想を得た認識モデルの選択が重要であることを示す。
論文 参考訳（メタデータ） (2022-06-01T12:21:58Z) - Improving Neural Predictivity in the Visual Cortex with Gated Recurrent
Connections [0.0]
我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。
本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
論文 参考訳（メタデータ） (2022-03-22T17:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Neural Cellular Automata Manifold [84.08170531451006]
ニューラルセルラーオートマタのニューラルネットワークアーキテクチャは、より大きなNNにカプセル化可能であることを示す。
これにより、NAAの多様体を符号化する新しいモデルを提案し、それぞれが異なる画像を生成することができる。
生物学的には、我々のアプローチは転写因子の役割を担い、細胞の分化を促進する特定のタンパク質への遺伝子マッピングを調節する。
論文 参考訳（メタデータ） (2020-06-22T11:41:57Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。