論文の概要: Deep recurrent spiking neural networks capture both static and dynamic
representations of the visual cortex under movie stimuli
- arxiv url: http://arxiv.org/abs/2306.01354v1
- Date: Fri, 2 Jun 2023 08:25:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 16:15:07.456831
- Title: Deep recurrent spiking neural networks capture both static and dynamic
representations of the visual cortex under movie stimuli
- Title（参考訳）: 映画刺激下での視覚野の静的および動的表現を捉えたディープリカレントスパイキングニューラルネットワーク
- Authors: Liwei Huang, ZhengYu Ma, Huihui Zhou, Yonghong Tian
- Abstract要約: 実世界では、生体視覚系が受ける視覚刺激は主に静的ではなく動的である。
本研究では,映画刺激下でのマウス視覚野のモデル化に深部反復SNNを適用した。
これらのネットワークは静的表現と動的表現の両方をキャプチャする能力がある。
- 参考スコア（独自算出の注目度）: 19.166875407309263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the real world, visual stimuli received by the biological visual system
are predominantly dynamic rather than static. A better understanding of how the
visual cortex represents movie stimuli could provide deeper insight into the
information processing mechanisms of the visual system. Although some progress
has been made in modeling neural responses to natural movies with deep neural
networks, the visual representations of static and dynamic information under
such time-series visual stimuli remain to be further explored. In this work,
considering abundant recurrent connections in the mouse visual system, we
design a recurrent module based on the hierarchy of the mouse cortex and add it
into Deep Spiking Neural Networks, which have been demonstrated to be a more
compelling computational model for the visual cortex. Using Time-Series
Representational Similarity Analysis, we measure the representational
similarity between networks and mouse cortical regions under natural movie
stimuli. Subsequently, we conduct a comparison of the representational
similarity across recurrent/feedforward networks and image/video training
tasks. Trained on the video action recognition task, recurrent SNN achieves the
highest representational similarity and significantly outperforms feedforward
SNN trained on the same task by 15% and the recurrent SNN trained on the image
classification task by 8%. We investigate how static and dynamic
representations of SNNs influence the similarity, as a way to explain the
importance of these two forms of representations in biological neural coding.
Taken together, our work is the first to apply deep recurrent SNNs to model the
mouse visual cortex under movie stimuli and we establish that these networks
are competent to capture both static and dynamic representations and make
contributions to understanding the movie information processing mechanisms of
the visual cortex.
- Abstract（参考訳）: 実世界では、生物学的視覚系が受ける視覚刺激は主に静的ではなく動的である。
視覚野が映画の刺激をどのように表現しているかをよりよく理解すれば、視覚システムの情報処理メカニズムに関する深い洞察が得られるだろう。
深層ニューラルネットワークを用いた自然映画に対するニューラルレスポンスのモデル化にはいくつかの進歩があるが、そのような時系列視覚刺激下での静的および動的情報の視覚的表現は、さらに研究されている。
本研究では,マウス視覚系における多数のリカレント接続を考慮し,マウス大脳皮質の階層構造に基づくリカレントモジュールを設計し,より説得力のある視覚野の計算モデルであるディープスパイキングニューラルネットワークに追加する。
時系列表現類似性解析を用いて,自然映画刺激下でのネットワークとマウス皮質領域の表現類似性を測定する。
その後、リカレント/フィードフォワードネットワークと画像/ビデオトレーニングタスク間の表現的類似性の比較を行う。
ビデオ行動認識タスクでトレーニングされた繰り返しSNNは、表現の類似度が最も高く、同じタスクでトレーニングしたフィードフォワードSNNを15%、イメージ分類タスクでトレーニングしたリカレントSNNを8%上回る。
本稿では,SNNの静的および動的表現が類似性にどのように影響するかを,これらの2種類の表現の重要性を説明する方法として検討する。
本研究は,マウスの視覚野を映画刺激下でモデル化するための深部反復SNNを初めて適用し,静的および動的表現の両方を捕捉し,視覚野の映像情報処理機構の理解に寄与することを示すものである。
関連論文リスト
- Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics [25.454851828755054]
TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。
結果から,本モデルは自然主義的なシーン/ムーブメントにおいて最高の復号性能を得るだけでなく,明示的なニューラルダイナミクスを抽出することがわかった。
論文 参考訳（メタデータ） (2024-08-15T03:27:23Z) - Aligning Neuronal Coding of Dynamic Visual Scenes with Foundation Vision Models [2.790870674964473]
自己教師型視覚変換器(ViT)を用いた時空間畳み込みニューラルネットワークVi-STを提案する。
提案したVi-STは,脳内動的視覚シーンのニューロンコーディングのための新しいモデリングフレームワークである。
論文 参考訳（メタデータ） (2024-07-15T14:06:13Z) - The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。
DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
論文 参考訳（メタデータ） (2024-07-08T06:22:10Z) - Brain-like representational straightening of natural movies in robust
feedforward neural networks [2.8749107965043286]
表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。
入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
論文 参考訳（メタデータ） (2023-08-26T13:04:36Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。
提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。
ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
論文 参考訳（メタデータ） (2022-04-29T11:55:35Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳（メタデータ） (2020-11-18T13:42:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。