論文の概要: A Dual-Stream Neural Network Explains the Functional Segregation of
Dorsal and Ventral Visual Pathways in Human Brains
- arxiv url: http://arxiv.org/abs/2310.13849v2
- Date: Mon, 20 Nov 2023 17:23:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 17:18:50.871471
- Title: A Dual-Stream Neural Network Explains the Functional Segregation of
Dorsal and Ventral Visual Pathways in Human Brains
- Title(参考訳): デュアルストリームニューラルネットワークによる脳の背側および腹側視覚経路の機能的偏析
- Authors: Minkyu Choi, Kuan Han, Xiaokai Wang, Yizhen Zhang, Zhongming Liu
- Abstract要約: 我々は人間の目と脳にインスパイアされたデュアルストリーム視覚モデルを開発する。
入力レベルでは、モデルは2つの相補的な視覚パターンをサンプリングする。
バックエンドでは、モデルが分離された入力パターンを畳み込みニューラルネットワークの2つのブランチを通して処理する。
- 参考スコア(独自算出の注目度): 8.24969449883056
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The human visual system uses two parallel pathways for spatial processing and
object recognition. In contrast, computer vision systems tend to use a single
feedforward pathway, rendering them less robust, adaptive, or efficient than
human vision. To bridge this gap, we developed a dual-stream vision model
inspired by the human eyes and brain. At the input level, the model samples two
complementary visual patterns to mimic how the human eyes use magnocellular and
parvocellular retinal ganglion cells to separate retinal inputs to the brain.
At the backend, the model processes the separate input patterns through two
branches of convolutional neural networks (CNN) to mimic how the human brain
uses the dorsal and ventral cortical pathways for parallel visual processing.
The first branch (WhereCNN) samples a global view to learn spatial attention
and control eye movements. The second branch (WhatCNN) samples a local view to
represent the object around the fixation. Over time, the two branches interact
recurrently to build a scene representation from moving fixations. We compared
this model with the human brains processing the same movie and evaluated their
functional alignment by linear transformation. The WhereCNN and WhatCNN
branches were found to differentially match the dorsal and ventral pathways of
the visual cortex, respectively, primarily due to their different learning
objectives. These model-based results lead us to speculate that the distinct
responses and representations of the ventral and dorsal streams are more
influenced by their distinct goals in visual attention and object recognition
than by their specific bias or selectivity in retinal inputs. This dual-stream
model takes a further step in brain-inspired computer vision, enabling parallel
neural networks to actively explore and understand the visual surroundings.
- Abstract(参考訳): ヒトの視覚システムは空間処理と物体認識に2つの並列経路を用いる。
対照的に、コンピュータビジョンシステムは単一のフィードフォワード経路を使い、人間の視覚よりも堅牢、適応性、効率的ではない。
このギャップを埋めるために、人間の目と脳に触発されたデュアルストリーム視覚モデルを開発した。
入力レベルでは、人間の目が脳への網膜入力を分離するためにマグノセルとパルボセルの網膜神経節細胞をどのように使うかを模した2つの相補的な視覚パターンをサンプリングする。
バックエンドでは、モデルは2つの分岐した畳み込みニューラルネットワーク(CNN)を通して別々の入力パターンを処理し、人間の脳が平行な視覚処理のために背側および腹側皮質経路をどのように使っているかを模倣する。
第1分枝(WhereCNN)は、空間的注意を学習し、眼球運動を制御するグローバルビューをサンプリングする。
第2のブランチ(WhatCNN)は、固定周辺のオブジェクトを表現するためにローカルビューをサンプリングする。
時間とともに、2つのブランチは反復的に対話し、移動固定からシーン表現を構築する。
我々は,このモデルとヒト脳で同じ映画を処理し,その機能的アライメントを線形変換により評価した。
WhereCNNとWhatCNNの枝は、主に学習目的が異なるため、それぞれ視覚野の背側と腹側経路に相違があることが判明した。
これらのモデルに基づく結果は、網膜入力の特定のバイアスや選択性よりも、腹側および背側ストリームの異なる反応と表現が視覚的注意と物体認識の異なる目標に影響されていると推測する。
このデュアルストリームモデルは、脳にインスパイアされたコンピュータビジョンのさらなる一歩を踏み出し、並列ニューラルネットワークが視覚環境を積極的に探索し理解できるようにする。
関連論文リスト
- Probing neural representations of scene perception in a hippocampally
dependent task using artificial neural networks [1.0312968200748116]
バックプロパゲーションによって訓練されたディープ人工ニューラルネットワーク(DNN)は、哺乳類の視覚システムの効果的なモデルを提供する。
本稿では,海馬依存型課題に触発されたシーン認識ベンチマークについて述べる。
側頭葉構造と海馬の接続性に着想を得たネットワークアーキテクチャを用いて,三重項損失を用いて訓練したDNNが,この課題を学習できることを実証した。
論文 参考訳(メタデータ) (2023-03-11T10:26:25Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳(メタデータ) (2022-10-27T22:20:36Z) - Adapting Brain-Like Neural Networks for Modeling Cortical Visual
Prostheses [68.96380145211093]
皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。
現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。
我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2022-09-27T17:33:19Z) - Human Eyes Inspired Recurrent Neural Networks are More Robust Against
Adversarial Noises [3.8738982761490988]
人間の視覚と比較して、畳み込みニューラルネットワーク(CNN)に基づくコンピュータビジョンは、敵の雑音に対してより脆弱である。
この違いは、眼が視覚入力をどのようにサンプルし、脳が網膜サンプルを背側および腹側視覚経路を通してどのように処理するかに起因している可能性が高い。
我々は、人間の網膜を模倣する入力サンプリング器、次に見る場所を案内する背側ネットワーク、網膜のサンプルを表す腹側ネットワークを含む、反復的なニューラルネットワークを設計する。
これらのモジュールをひとつにまとめると、モデルはイメージを複数回見て、各見た目で健全な部分に参加し、画像を認識するために時間をかけて表現を蓄積する。
論文 参考訳(メタデータ) (2022-06-15T03:44:42Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳(メタデータ) (2022-06-14T12:47:47Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳(メタデータ) (2022-05-27T08:06:40Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Visual Attention Network [90.0753726786985]
本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。
また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。
VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-02-20T06:35:18Z) - Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study [7.222232547612573]
深部畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、大きなアーキテクチャと機能的な類似点を共有している。
人間の観察者(N = 45)と3人のフィードフォワードDCNNの比較を,視線追跡とサリエンシマップを用いて示す。
vNetと呼ばれる生物学的に妥当な受容野サイズを持つDCNNは、標準的なResNetアーキテクチャと対照的な人間の視聴行動と高い一致を示している。
論文 参考訳(メタデータ) (2021-07-30T23:32:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。