論文の概要: 3D View Prediction Models of the Dorsal Visual Stream

• arxiv url: http://arxiv.org/abs/2309.01782v1
• Date: Mon, 4 Sep 2023 19:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 17:34:54.213806
• Title: 3D View Prediction Models of the Dorsal Visual Stream
• Title（参考訳）: 背側ビジュアルストリームの3次元ビュー予測モデル
• Authors: Gabriel Sarch and Hsiao-Yu Fish Tung and Aria Wang and Jacob Prince and Michael Tarr
• Abstract要約: 我々は、3D特徴メモリを用いて新しいカメラビューを予測するために、自己教師付き幾何認識リカレントニューラルネットワークを訓練した。 その結果, GRNNは背側脳領域のばらつきが大きいことが判明した。
• 参考スコア（独自算出の注目度）: 2.840609092800791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network representations align well with brain activity in the ventral visual stream. However, the primate visual system has a distinct dorsal processing stream with different functional properties. To test if a model trained to perceive 3D scene geometry aligns better with neural responses in dorsal visual areas, we trained a self-supervised geometry-aware recurrent neural network (GRNN) to predict novel camera views using a 3D feature memory. We compared GRNN to self-supervised baseline models that have been shown to align well with ventral regions using the large-scale fMRI Natural Scenes Dataset (NSD). We found that while the baseline models accounted better for ventral brain regions, GRNN accounted for a greater proportion of variance in dorsal brain regions. Our findings demonstrate the potential for using task-relevant models to probe representational differences across visual streams.
• Abstract（参考訳）: 深部神経ネットワークの表現は腹側視覚の脳活動とよく一致している。 しかしながら、霊長類視覚系は、異なる機能特性を持つ異なる背側処理ストリームを有する。 背側視覚領域における3Dシーン形状の知覚を訓練したモデルが神経応答とよく一致しているかどうかをテストするため,我々は,3D特徴メモリを用いた新しいカメラビューの予測のために,自監督型幾何認識リカレントニューラルネットワーク(GRNN)を訓練した。 大規模fMRI Natural Scenes Dataset (NSD) を用いて, 腹腔領域とよく一致することが示されている自監督ベースラインモデルとGRNNを比較した。 ベースラインモデルが腹側脳領域より優れているのに対し,grnnは背側脳領域のばらつきが大きいことが判明した。 本研究は,タスク関連モデルを用いて視覚ストリーム間の表現的差異を探索する可能性を示す。

関連論文リスト

• Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
  脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:52:17Z)
• Probing neural representations of scene perception in a hippocampally dependent task using artificial neural networks [1.0312968200748116]
  バックプロパゲーションによって訓練されたディープ人工ニューラルネットワーク(DNN)は、哺乳類の視覚システムの効果的なモデルを提供する。 本稿では,海馬依存型課題に触発されたシーン認識ベンチマークについて述べる。 側頭葉構造と海馬の接続性に着想を得たネットワークアーキテクチャを用いて,三重項損失を用いて訓練したDNNが,この課題を学習できることを実証した。
  論文  参考訳（メタデータ） (2023-03-11T10:26:25Z)
• Decomposing 3D Neuroimaging into 2+1D Processing for Schizophrenia Recognition [25.80846093248797]
  我々は2+1Dフレームワークで3Dデータを処理し、巨大なImageNetデータセット上に事前トレーニングされた強力な2D畳み込みニューラルネットワーク(CNN)ネットワークを利用して3Dニューロイメージング認識を実現することを提案する。 特に3次元磁気共鳴イメージング(MRI)の計測値は、隣接するボクセル位置に応じて2次元スライスに分解される。 グローバルプーリングは、アクティベーションパターンが機能マップ上にわずかに分散されているため、冗長な情報を除去するために適用される。 2次元CNNモデルにより処理されていない3次元の文脈情報を集約するために,チャネルワイドおよびスライスワイズ畳み込みを提案する。
  論文  参考訳（メタデータ） (2022-11-21T15:22:59Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Improving Neural Predictivity in the Visual Cortex with Gated Recurrent Connections [0.0]
  我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。 本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
  論文  参考訳（メタデータ） (2022-03-22T17:27:22Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Deep Reinforcement Learning Models Predict Visual Responses in the Brain: A Preliminary Result [1.0323063834827415]
  強化学習を用いてニューラルネットワークモデルをトレーニングし、3Dコンピュータゲームをプレイします。 これらの強化学習モデルは、初期視覚領域において、神経応答予測精度のスコアを得る。 対照的に、教師付きニューラルネットワークモデルでは、より高い視覚領域において、より優れた神経応答予測が得られる。
  論文  参考訳（メタデータ） (2021-06-18T13:10:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。