論文の概要: A Dual-Stream Neural Network Explains the Functional Segregation of Dorsal and Ventral Visual Pathways in Human Brains

• arxiv url: http://arxiv.org/abs/2310.13849v2
• Date: Mon, 20 Nov 2023 17:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 17:18:50.871471
• Title: A Dual-Stream Neural Network Explains the Functional Segregation of Dorsal and Ventral Visual Pathways in Human Brains
• Title（参考訳）: デュアルストリームニューラルネットワークによる脳の背側および腹側視覚経路の機能的偏析
• Authors: Minkyu Choi, Kuan Han, Xiaokai Wang, Yizhen Zhang, Zhongming Liu
• Abstract要約: 我々は人間の目と脳にインスパイアされたデュアルストリーム視覚モデルを開発する。 入力レベルでは、モデルは2つの相補的な視覚パターンをサンプリングする。 バックエンドでは、モデルが分離された入力パターンを畳み込みニューラルネットワークの2つのブランチを通して処理する。
• 参考スコア（独自算出の注目度）: 8.24969449883056
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The human visual system uses two parallel pathways for spatial processing and object recognition. In contrast, computer vision systems tend to use a single feedforward pathway, rendering them less robust, adaptive, or efficient than human vision. To bridge this gap, we developed a dual-stream vision model inspired by the human eyes and brain. At the input level, the model samples two complementary visual patterns to mimic how the human eyes use magnocellular and parvocellular retinal ganglion cells to separate retinal inputs to the brain. At the backend, the model processes the separate input patterns through two branches of convolutional neural networks (CNN) to mimic how the human brain uses the dorsal and ventral cortical pathways for parallel visual processing. The first branch (WhereCNN) samples a global view to learn spatial attention and control eye movements. The second branch (WhatCNN) samples a local view to represent the object around the fixation. Over time, the two branches interact recurrently to build a scene representation from moving fixations. We compared this model with the human brains processing the same movie and evaluated their functional alignment by linear transformation. The WhereCNN and WhatCNN branches were found to differentially match the dorsal and ventral pathways of the visual cortex, respectively, primarily due to their different learning objectives. These model-based results lead us to speculate that the distinct responses and representations of the ventral and dorsal streams are more influenced by their distinct goals in visual attention and object recognition than by their specific bias or selectivity in retinal inputs. This dual-stream model takes a further step in brain-inspired computer vision, enabling parallel neural networks to actively explore and understand the visual surroundings.
• Abstract（参考訳）: ヒトの視覚システムは空間処理と物体認識に2つの並列経路を用いる。 対照的に、コンピュータビジョンシステムは単一のフィードフォワード経路を使い、人間の視覚よりも堅牢、適応性、効率的ではない。 このギャップを埋めるために、人間の目と脳に触発されたデュアルストリーム視覚モデルを開発した。 入力レベルでは、人間の目が脳への網膜入力を分離するためにマグノセルとパルボセルの網膜神経節細胞をどのように使うかを模した2つの相補的な視覚パターンをサンプリングする。 バックエンドでは、モデルは2つの分岐した畳み込みニューラルネットワーク(CNN)を通して別々の入力パターンを処理し、人間の脳が平行な視覚処理のために背側および腹側皮質経路をどのように使っているかを模倣する。 第1分枝(WhereCNN)は、空間的注意を学習し、眼球運動を制御するグローバルビューをサンプリングする。 第2のブランチ(WhatCNN)は、固定周辺のオブジェクトを表現するためにローカルビューをサンプリングする。 時間とともに、2つのブランチは反復的に対話し、移動固定からシーン表現を構築する。 我々は,このモデルとヒト脳で同じ映画を処理し,その機能的アライメントを線形変換により評価した。 WhereCNNとWhatCNNの枝は、主に学習目的が異なるため、それぞれ視覚野の背側と腹側経路に相違があることが判明した。 これらのモデルに基づく結果は、網膜入力の特定のバイアスや選択性よりも、腹側および背側ストリームの異なる反応と表現が視覚的注意と物体認識の異なる目標に影響されていると推測する。 このデュアルストリームモデルは、脳にインスパイアされたコンピュータビジョンのさらなる一歩を踏み出し、並列ニューラルネットワークが視覚環境を積極的に探索し理解できるようにする。

関連論文リスト

• BIMM: Brain Inspired Masked Modeling for Video Representation Learning [47.56270575865621]
  本稿では、ビデオから包括的な表現を学習することを目的とした、Brain Inspired Masked Modeling (BIMM)フレームワークを提案する。 具体的には腹側枝と背側枝からなり,それぞれ画像と映像の表現を学習する。 脳内の異なる視覚皮質の目標を達成するために、各枝のエンコーダを3つの中間ブロックに分割し、軽量デコーダを用いて進行予測ターゲットを再構築する。
  論文  参考訳（メタデータ） (2024-05-21T13:09:04Z)
• Towards Two-Stream Foveation-based Active Vision Learning [7.14325008286629]
  神経科学の「二流仮説」では、人間の視覚野の神経処理を視覚系として説明している。 我々は、"二流仮説"にインスパイアされた機械学習フレームワークを提案し、それがもたらす潜在的なメリットを探求する。 弱教師付きオブジェクトローカライゼーションの課題に対して,2ストリームフォベーションに基づく学習が適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T01:20:08Z)
• System Identification of Neural Systems: Going Beyond Images to Modelling Dynamics [2.3825930751052358]
  本稿では,ビデオ刺激を用いた視覚野記録について,映像理解モデルの比較に焦点をあてた最初の大規模研究を提案する。 映像理解モデルが視覚野の反応を予測する方法について重要な知見を提供する。 本稿では,最高の映像理解モデル上に構築されたニューラルエンコーディング方式を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:29:49Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
  我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。 このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。 このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)
• Peripheral Vision Transformer [52.55309200601883]
  我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。 本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。 大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
  論文  参考訳（メタデータ） (2022-06-14T12:47:47Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。