論文の概要: Deep recurrent spiking neural networks capture both static and dynamic
representations of the visual cortex under movie stimuli
- arxiv url: http://arxiv.org/abs/2306.01354v1
- Date: Fri, 2 Jun 2023 08:25:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 16:15:07.456831
- Title: Deep recurrent spiking neural networks capture both static and dynamic
representations of the visual cortex under movie stimuli
- Title(参考訳): 映画刺激下での視覚野の静的および動的表現を捉えたディープリカレントスパイキングニューラルネットワーク
- Authors: Liwei Huang, ZhengYu Ma, Huihui Zhou, Yonghong Tian
- Abstract要約: 実世界では、生体視覚系が受ける視覚刺激は主に静的ではなく動的である。
本研究では,映画刺激下でのマウス視覚野のモデル化に深部反復SNNを適用した。
これらのネットワークは静的表現と動的表現の両方をキャプチャする能力がある。
- 参考スコア(独自算出の注目度): 19.166875407309263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the real world, visual stimuli received by the biological visual system
are predominantly dynamic rather than static. A better understanding of how the
visual cortex represents movie stimuli could provide deeper insight into the
information processing mechanisms of the visual system. Although some progress
has been made in modeling neural responses to natural movies with deep neural
networks, the visual representations of static and dynamic information under
such time-series visual stimuli remain to be further explored. In this work,
considering abundant recurrent connections in the mouse visual system, we
design a recurrent module based on the hierarchy of the mouse cortex and add it
into Deep Spiking Neural Networks, which have been demonstrated to be a more
compelling computational model for the visual cortex. Using Time-Series
Representational Similarity Analysis, we measure the representational
similarity between networks and mouse cortical regions under natural movie
stimuli. Subsequently, we conduct a comparison of the representational
similarity across recurrent/feedforward networks and image/video training
tasks. Trained on the video action recognition task, recurrent SNN achieves the
highest representational similarity and significantly outperforms feedforward
SNN trained on the same task by 15% and the recurrent SNN trained on the image
classification task by 8%. We investigate how static and dynamic
representations of SNNs influence the similarity, as a way to explain the
importance of these two forms of representations in biological neural coding.
Taken together, our work is the first to apply deep recurrent SNNs to model the
mouse visual cortex under movie stimuli and we establish that these networks
are competent to capture both static and dynamic representations and make
contributions to understanding the movie information processing mechanisms of
the visual cortex.
- Abstract(参考訳): 実世界では、生物学的視覚系が受ける視覚刺激は主に静的ではなく動的である。
視覚野が映画の刺激をどのように表現しているかをよりよく理解すれば、視覚システムの情報処理メカニズムに関する深い洞察が得られるだろう。
深層ニューラルネットワークを用いた自然映画に対するニューラルレスポンスのモデル化にはいくつかの進歩があるが、そのような時系列視覚刺激下での静的および動的情報の視覚的表現は、さらに研究されている。
本研究では,マウス視覚系における多数のリカレント接続を考慮し,マウス大脳皮質の階層構造に基づくリカレントモジュールを設計し,より説得力のある視覚野の計算モデルであるディープスパイキングニューラルネットワークに追加する。
時系列表現類似性解析を用いて,自然映画刺激下でのネットワークとマウス皮質領域の表現類似性を測定する。
その後、リカレント/フィードフォワードネットワークと画像/ビデオトレーニングタスク間の表現的類似性の比較を行う。
ビデオ行動認識タスクでトレーニングされた繰り返しSNNは、表現の類似度が最も高く、同じタスクでトレーニングしたフィードフォワードSNNを15%、イメージ分類タスクでトレーニングしたリカレントSNNを8%上回る。
本稿では,SNNの静的および動的表現が類似性にどのように影響するかを,これらの2種類の表現の重要性を説明する方法として検討する。
本研究は,マウスの視覚野を映画刺激下でモデル化するための深部反復SNNを初めて適用し,静的および動的表現の両方を捕捉し,視覚野の映像情報処理機構の理解に寄与することを示すものである。
関連論文リスト
- A spatiotemporal style transfer algorithm for dynamic visual stimulus
generation [0.0]
動的視覚刺激生成フレームワークであるSTSTアルゴリズムを導入する。
これは、動的視覚刺激を生成するために空間的特徴と時間的特徴を分解する2ストリームのディープニューラルネットワークモデルに基づいている。
提案アルゴリズムは, 層活性化を自然なビデオと一致させる動的刺激であるモデルメタマーの生成を可能にすることを示す。
論文 参考訳(メタデータ) (2024-03-07T23:07:46Z) - Brain-like representational straightening of natural movies in robust
feedforward neural networks [2.8749107965043286]
表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。
入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
論文 参考訳(メタデータ) (2023-08-26T13:04:36Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳(メタデータ) (2022-05-27T08:06:40Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Deep Auto-encoder with Neural Response [8.797970797884023]
ニューラルレスポンス(DAE-NR)を用いたディープオートエンコーダと呼ばれるハイブリッドモデルを提案する。
DAE-NRは、視覚野からの情報をANNに組み込んで、より優れた画像再構成と、生物学的および人工ニューロン間の高い神経表現類似性を実現する。
DAE-NRは, 共同学習によって(画像再構成の性能の向上) 生体ニューロンと人工ニューロンとの表現的類似性の向上が可能であることを実証した。
論文 参考訳(メタデータ) (2021-11-30T11:44:17Z) - Bio-inspired visual attention for silicon retinas based on spiking
neural networks applied to pattern classification [0.0]
Spiking Neural Networks(SNN)は、従来の人工ネットワークよりも生物学に近い、非同期タイプの人工ニューラルネットワークである。
本稿では,SNNを用いたイベントビデオ分類のケーススタディについて紹介する。
論文 参考訳(メタデータ) (2021-05-31T07:34:13Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳(メタデータ) (2020-11-18T13:42:05Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。