論文の概要: System Identification of Neural Systems: Going Beyond Images to
Modelling Dynamics
- arxiv url: http://arxiv.org/abs/2402.12519v1
- Date: Mon, 19 Feb 2024 20:29:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 18:10:41.335760
- Title: System Identification of Neural Systems: Going Beyond Images to
Modelling Dynamics
- Title(参考訳): ニューラルシステムのシステム同定:画像を超えてモデリングダイナミクスへ
- Authors: Mai Gamal, Mohamed Rashad, Eman Ehab, Seif Eldawlatly, and Mennatullah
Siam
- Abstract要約: システム識別は画像と映像理解モデルとの差別化において一定のレベルに到達できることを示す。
映像理解モデルが視覚野の反応を予測する方法について重要な知見を提供する。
- 参考スコア(独自算出の注目度): 2.3825930751052358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vast literature has compared the recordings of biological neurons in the
brain to deep neural networks. The ultimate goal is to interpret deep networks
or to better understand and encode biological neural systems. Recently, there
has been a debate on whether system identification is possible and how much it
can tell us about the brain computation. System identification recognizes
whether one model is more valid to represent the brain computation over
another. Nonetheless, previous work did not consider the time aspect and how
video and dynamics (e.g., motion) modelling in deep networks relate to these
biological neural systems within a large-scale comparison. Towards this end, we
propose a system identification study focused on comparing single image vs.
video understanding models with respect to the visual cortex recordings. Our
study encompasses two sets of experiments; a real environment setup and a
simulated environment setup. The study also encompasses more than 30 models
and, unlike prior works, we focus on convolutional vs. transformer-based,
single vs. two-stream, and fully vs. self-supervised video understanding
models. The goal is to capture a greater variety of architectures that model
dynamics. As such, this signifies the first large-scale study of video
understanding models from a neuroscience perspective. Our results in the
simulated experiments, show that system identification can be attained to a
certain level in differentiating image vs. video understanding models.
Moreover, we provide key insights on how video understanding models predict
visual cortex responses; showing video understanding better than image
understanding models, convolutional models are better in the early-mid regions
than transformer based except for multiscale transformers that are still good
in predicting these regions, and that two-stream models are better than single
stream.
- Abstract(参考訳): 膨大な文献が、脳の生物学的ニューロンの記録とディープニューラルネットワークを比較している。
究極の目標は、ディープネットワークの解釈や、生物学的ニューラルネットワークの理解とエンコードを改善することである。
近年,システム同定が可能であるか,脳の計算にどの程度の価値があるのかが議論されている。
システム同定は、あるモデルが別のモデルよりも脳の計算を表現できるかどうかを認識する。
それにもかかわらず、以前の研究は、時間的側面や、深層ネットワークにおけるビデオと動力学的モデリング(例えば、運動)が、大規模な比較においてこれらの生物学的神経系とどのように関係しているかを考慮しなかった。
そこで本研究では,視覚野記録に対する単一画像と映像理解モデルの比較に焦点を当てたシステム同定研究を提案する。
本研究は,実環境設定とシミュレーション環境設定の2つの実験を包含する。
この研究はまた30以上のモデルを含んでおり、以前の研究とは異なり、畳み込み対トランスフォーマー、シングル対2ストリーム、完全対自己教師付きビデオ理解モデルに焦点を当てている。
目標は、ダイナミクスをモデル化するより多様なアーキテクチャをキャプチャすることだ。
このことは、神経科学の観点からビデオ理解モデルに関する最初の大規模研究を意味する。
シミュレーション実験の結果,画像の微分と映像理解モデルにおいて,システム同定を一定のレベルまで達成できることが判明した。
さらに,映像理解モデルが視覚野応答を予測する方法に関する重要な知見を提供する。画像理解モデルよりも映像理解が優れていること,畳み込みモデルがトランスフォーマベースよりも早い段階ではトランスフォーマベースより優れていること,そして2つのストリームモデルが単一ストリームよりも優れていること,などが挙げられる。
関連論文リスト
- Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳(メタデータ) (2024-01-25T19:05:53Z) - A Dual-Stream Neural Network Explains the Functional Segregation of
Dorsal and Ventral Visual Pathways in Human Brains [8.24969449883056]
我々は人間の目と脳にインスパイアされたデュアルストリーム視覚モデルを開発する。
入力レベルでは、モデルは2つの相補的な視覚パターンをサンプリングする。
バックエンドでは、モデルが分離された入力パターンを畳み込みニューラルネットワークの2つのブランチを通して処理する。
論文 参考訳(メタデータ) (2023-10-20T22:47:40Z) - System identification of neural systems: If we got it right, would we
know? [4.414362557866993]
我々は、脳記録を既知の基底真理モデルに置き換えることで、モデルを特定するために最もよく使用される比較手法を評価した。
高いレベルのアーキテクチャモチーフを特定する際に,機能的類似度スコアを使用することの限界を示す。
論文 参考訳(メタデータ) (2023-02-13T20:32:37Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳(メタデータ) (2023-01-25T14:37:42Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳(メタデータ) (2022-05-27T08:06:40Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Improving Coherence and Consistency in Neural Sequence Models with
Dual-System, Neuro-Symbolic Reasoning [49.6928533575956]
我々は、神経系1と論理系2の間を仲介するために神経推論を用いる。
強靭なストーリー生成とグラウンドド・インストラクション・フォローリングの結果、このアプローチは神経系世代におけるコヒーレンスと精度を高めることができることを示した。
論文 参考訳(メタデータ) (2021-07-06T17:59:49Z) - Deep Reinforcement Learning Models Predict Visual Responses in the
Brain: A Preliminary Result [1.0323063834827415]
強化学習を用いてニューラルネットワークモデルをトレーニングし、3Dコンピュータゲームをプレイします。
これらの強化学習モデルは、初期視覚領域において、神経応答予測精度のスコアを得る。
対照的に、教師付きニューラルネットワークモデルでは、より高い視覚領域において、より優れた神経応答予測が得られる。
論文 参考訳(メタデータ) (2021-06-18T13:10:06Z) - A Psychophysically Oriented Saliency Map Prediction Model [4.884688557957589]
本研究では,人間の視覚野の多チャンネルモデルに触発された新しい心理物理学的サリエンシ予測アーキテクチャであるWECSFを提案する。
提案モデルは、MIT1003、MIT300、トロント、SID4VAM、UCFスポーツデータセットなど、いくつかのデータセットを用いて評価される。
本モデルは, 自然画像, 心理物理合成画像, ダイナミックビデオの様々な測定値を用いて, 安定かつ優れた性能を実現した。
論文 参考訳(メタデータ) (2020-11-08T20:58:05Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。