論文の概要: Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex
- arxiv url: http://arxiv.org/abs/2609.36366v1
- Date: Mon, 28 Sep 2026 22:57:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.048828
- Title: Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex
- Title（参考訳）: クロスアテンションエンコーディングモデルによる高次視覚野への動的時空間ルーティングの解明
- Abstract要約: 脳がどのように行動や事象を時間によって変化する自然の入力から解析するかを理解することは、神経科学における中心的な課題である。
近年の研究では、深層ニューラルネットワーク(DNN)モデルを使用して、刺激計算可能なfMRIモデルを構築している。
自己教師付きビデオモデルから特徴を動的にルーティングするために,クラスタごとのクロスアテンションを用いて,この枠組みを自然なビデオに拡張する。
- 参考スコア（独自算出の注目度）: 3.2637270397208824
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Understanding how the brain parses actions and events from time-varying natural inputs is a central challenge in neuroscience. Recent work has used deep neural network (DNN) models to build stimulus-computable fMRI encoding models that predict single-voxel responses to complex natural videos. However, the majority of video-computable encoding models predict responses using simple linear mappings from model tokens, overlooking the spatiotemporal structure shared by video representations and neural responses. Recent cross-attention encoding models address this limitation for static images, enabling flexible stimulus-dependent weighting of image content across space. Here, we extend this framework to naturalistic video, using per-parcel cross-attention to dynamically route features from a self-supervised video model (V-JEPA-2) across both space and time, fitting this model to fMRI responses to short video clips. We compare joint spatiotemporal attention with factorized and selectively constrained alternatives, and find that joint routing improves predictions of brain responses to held-out videos across higher visual regions, most consistently in lateral and dorsal visual areas associated with dynamic motion perception. Moreover, our method provides interpretable, stimulus-specific attention maps that dynamically follow moving objects, revealing which locations and temporal moments contribute to each neural response. We further show that attention maps from parcels in different category-selective networks (face-, body-, scene-selective) differentially weight content in accordance with expected semantic selectivity. Together, this work provides a new computational framework for understanding how visual information is adaptively weighted by cortical populations during dynamic visual perception.
- Abstract（参考訳）: 脳がどのように行動や事象を時間によって変化する自然の入力から解析するかを理解することは、神経科学における中心的な課題である。
近年の研究では、深層ニューラルネットワーク(DNN)モデルを使用して、複雑な自然ビデオに対する単一ボクセル応答を予測する刺激計算可能なfMRI符号化モデルを構築している。
しかし、ビデオ計算可能な符号化モデルの大多数は、ビデオ表現とニューラル応答で共有される時空間構造を見渡して、モデルトークンからの単純な線形写像を用いて応答を予測する。
最近のクロスアテンション符号化モデルは、静止画像のこの制限に対処し、空間をまたいだ画像コンテンツのフレキシブルな刺激依存重み付けを可能にする。
本稿では,この枠組みを自然主義的ビデオに拡張し,自己監督型ビデオモデル(V-JEPA-2)から空間的,時間的に特徴を動的にルーティングし,短いビデオクリップに対するfMRI応答に適合させる。
関節時空間的注意を因子的・選択的に制約された代替手段と比較し、関節ルーティングにより高次視覚領域における保持映像に対する脳反応の予測が改善し、特に動的運動知覚に関連する側方および背側視覚領域において一貫して改善されることを見出した。
さらに,動作対象を動的に追従し,各神経応答にどの位置と時間モーメントが寄与するかを明らかにする,解釈可能な刺激特異的アテンションマップを提供する。
さらに,異なるカテゴリー選択型ネットワーク(顔,体,シーン選択型)におけるパーセルからの注意マップが,期待される意味選択性に応じて差分重みを持つことを示す。
この研究は、動的視覚知覚中の皮質集団によって視覚情報が適応的に重み付けされているかを理解するための新しい計算フレームワークを提供する。
関連論文リスト
- NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity [14.183961200413435]
視覚野全体にわたる標的脳領域に最適化された刺激を生成する新しいニューラル誘導ビデオ合成フレームワークを提案する。
本稿では,ビデオ入力に対するボクセルレベルの応答を予測する動的符号化モデルを用いて,構造化されたプロンプト空間上の進化的探索を行う。
論文 参考訳（メタデータ） (2026-07-02T15:27:39Z) - Learning Spatio-Temporal Feature Representations for Video-Based Gaze Estimation [50.05866669110754]
映像に基づく視線推定手法は、複数の画像フレームから人間の視線の本質的な時間的ダイナミクスを捉えることを目的としている。
本稿では、CNNバックボーンと専用のチャンネルアテンションと自己注意モジュールを組み合わせたモデルであるSpatio-Temporal Gaze Network(ST-Gaze)を提案する。
そこで本研究では,ST-Gazeが個人固有の適応を伴わずとも最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2025-12-19T15:15:58Z) - Visualizing and Controlling Cortical Responses Using Voxel-Weighted Activation Maximization [0.0]
ディープニューラルネットワーク(DNN)は、人間の視覚系に類似した視覚表現に基づいて訓練されている。
DNNベースの符号化モデルにアクティベーションが適用可能であることを示す。
我々は個々のボクセルで予測応答に最適化された画像を生成する。
論文 参考訳（メタデータ） (2025-06-04T18:48:08Z) - Time-Evolving Dynamical System for Learning Latent Representations of Mouse Visual Neural Activity [35.763262404864996]
Time-Evolving Visual Dynamical System (TE-ViDS) は逐次潜在変数モデルである。
神経活動は時間とともに進化する低次元の潜在表現に分解される。
TE-ViDSは自然主義シーン/ムーブメント上で最高の復号化性能を発揮する。
論文 参考訳（メタデータ） (2024-08-15T03:27:23Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli [25.454851828755054]
視覚野が、文脈に富む情報を含む自然の映画刺激をどのように表現するかについては、限られた知見がある。
本研究では、大脳皮質領域間のトップダウン接続を模倣した長距離フィードバックスパイクネットワーク(LoRaFB-SNet)を提案する。
本稿では,マウスのモデル表現と視覚皮質表現の類似性を測定するために,時系列表現類似性分析(TSRSA)を提案する。
論文 参考訳（メタデータ） (2023-06-02T08:25:58Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T22:16:52Z) - Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。
提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-04T03:09:20Z) - Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。
カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
論文 参考訳（メタデータ） (2021-05-13T17:59:50Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。