論文の概要: System Identification of Neural Systems: Going Beyond Images to Modelling Dynamics
- arxiv url: http://arxiv.org/abs/2402.12519v2
- Date: Sun, 13 Oct 2024 19:16:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:02:31.745230
- Title: System Identification of Neural Systems: Going Beyond Images to Modelling Dynamics
- Title(参考訳): ニューラルシステムのシステム同定:画像を超えてモデリングダイナミクスへ
- Authors: Mai Gamal, Mohamed Rashad, Eman Ehab, Seif Eldawlatly, Mennatullah Siam,
- Abstract要約: 本稿では,ビデオ刺激を用いた視覚野記録について,映像理解モデルの比較に焦点をあてた最初の大規模研究を提案する。
映像理解モデルが視覚野の反応を予測する方法について重要な知見を提供する。
本稿では,最高の映像理解モデル上に構築されたニューラルエンコーディング方式を提案する。
- 参考スコア(独自算出の注目度): 2.3825930751052358
- License:
- Abstract: Extensive literature has drawn comparisons between recordings of biological neurons in the brain and deep neural networks. This comparative analysis aims to advance and interpret deep neural networks and enhance our understanding of biological neural systems. However, previous works did not consider the time aspect and how the encoding of video and dynamics in deep networks relate to the biological neural systems within a large-scale comparison. Towards this end, we propose the first large-scale study focused on comparing video understanding models with respect to the visual cortex recordings using video stimuli. The study encompasses more than two million regression fits, examining image vs. video understanding, convolutional vs. transformer-based and fully vs. self-supervised models. Additionally, we propose a novel neural encoding scheme to better encode biological neural systems. We provide key insights on how video understanding models predict visual cortex responses; showing video understanding better than image understanding models, convolutional models are better in the early-mid visual cortical regions than transformer based ones except for multiscale transformers, and that two-stream models are better than single stream. Furthermore, we propose a novel neural encoding scheme that is built on top of the best performing video understanding models, while incorporating inter-intra region connectivity across the visual cortex. Our neural encoding leverages the encoded dynamics from video stimuli, through utilizing two-stream networks and multiscale transformers, while taking connectivity priors into consideration. Our results show that merging both intra and inter-region connectivity priors increases the encoding performance over each one of them standalone or no connectivity priors. It also shows the necessity for encoding dynamics to fully benefit from such connectivity priors.
- Abstract(参考訳): 広範囲にわたる文献は、脳内の生物学的ニューロンの記録とディープニューラルネットワークの比較を描いている。
この比較分析は、ディープニューラルネットワークを進化させ、解釈し、生物学的ニューラルネットワークの理解を強化することを目的としている。
しかし、以前の研究では、大規模な比較において、ディープネットワークにおけるビデオとダイナミクスの符号化が生体神経系とどのように関係しているかを考慮しなかった。
そこで本研究では,映像刺激を用いた視覚野記録について,映像理解モデルの比較に焦点をあてた最初の大規模研究を提案する。
この研究には200万以上の回帰フィットが含まれており、画像対ビデオ理解、畳み込み対トランスフォーマーベース、完全対自己教師型モデルなどを調べている。
さらに,生体神経系をよりよく符号化するための新しいニューラルエンコーディング手法を提案する。
我々は,映像理解モデルが視覚大脳皮質反応を予測する方法,映像理解モデルよりも映像理解が優れていること,畳み込みモデルはマルチスケールトランスフォーマー以外のトランスフォーマーベースモデルよりも早期の視覚大脳皮質領域の方が優れていること,二つのストリームモデルの方が単一ストリームより優れていること,などの重要な知見を提供する。
さらに、視覚野全体にわたるイントラ領域間の接続性を取り入れつつ、最高の映像理解モデルの上に構築された新しいニューラルエンコーディング方式を提案する。
我々のニューラルエンコーディングは、2ストリームネットワークとマルチスケールトランスフォーマーを利用して、ビデオ刺激から符号化されたダイナミックスを活用する。
以上の結果から,リージョン内接続とリージョン間接続を併用することで,それぞれがスタンドアロンあるいは接続先を持たない場合の符号化性能が向上することが示された。
また、このような接続前の利点を完全に享受するために、ダイナミックスをエンコーディングする必要があることも示している。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳(メタデータ) (2024-06-07T08:32:30Z) - Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳(メタデータ) (2024-01-25T19:05:53Z) - A Dual-Stream Neural Network Explains the Functional Segregation of
Dorsal and Ventral Visual Pathways in Human Brains [8.24969449883056]
我々は人間の目と脳にインスパイアされたデュアルストリーム視覚モデルを開発する。
入力レベルでは、モデルは2つの相補的な視覚パターンをサンプリングする。
バックエンドでは、モデルが分離された入力パターンを畳み込みニューラルネットワークの2つのブランチを通して処理する。
論文 参考訳(メタデータ) (2023-10-20T22:47:40Z) - System identification of neural systems: If we got it right, would we
know? [4.414362557866993]
我々は、脳記録を既知の基底真理モデルに置き換えることで、モデルを特定するために最もよく使用される比較手法を評価した。
高いレベルのアーキテクチャモチーフを特定する際に,機能的類似度スコアを使用することの限界を示す。
論文 参考訳(メタデータ) (2023-02-13T20:32:37Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳(メタデータ) (2023-01-25T14:37:42Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳(メタデータ) (2022-05-27T08:06:40Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Improving Coherence and Consistency in Neural Sequence Models with
Dual-System, Neuro-Symbolic Reasoning [49.6928533575956]
我々は、神経系1と論理系2の間を仲介するために神経推論を用いる。
強靭なストーリー生成とグラウンドド・インストラクション・フォローリングの結果、このアプローチは神経系世代におけるコヒーレンスと精度を高めることができることを示した。
論文 参考訳(メタデータ) (2021-07-06T17:59:49Z) - Deep Reinforcement Learning Models Predict Visual Responses in the
Brain: A Preliminary Result [1.0323063834827415]
強化学習を用いてニューラルネットワークモデルをトレーニングし、3Dコンピュータゲームをプレイします。
これらの強化学習モデルは、初期視覚領域において、神経応答予測精度のスコアを得る。
対照的に、教師付きニューラルネットワークモデルでは、より高い視覚領域において、より優れた神経応答予測が得られる。
論文 参考訳(メタデータ) (2021-06-18T13:10:06Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。