論文の概要: Sparse components distinguish visual pathways & their alignment to neural networks
- arxiv url: http://arxiv.org/abs/2510.08858v1
- Date: Thu, 09 Oct 2025 23:26:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:47.890489
- Title: Sparse components distinguish visual pathways & their alignment to neural networks
- Title(参考訳): スパースコンポーネントは視覚経路とニューラルネットワークとのアライメントを区別する
- Authors: Ammar I Marvi, Nancy G Kanwisher, Meenakshi Khosla,
- Abstract要約: 高レベルのヒト視覚皮質における腹側、背側、側方の流れは、異なる機能過程に関係している。
しかし、ディープニューラルネットワーク(DNN)は単一のタスクモデルでトレーニングされ、視覚システム全体が驚くほどうまく機能する。
本研究では,各ストリーム内の視覚表現の主成分を特定するために,新しいスパース分解手法を適用した。
- 参考スコア(独自算出の注目度): 3.466510324781552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ventral, dorsal, and lateral streams in high-level human visual cortex are implicated in distinct functional processes. Yet, deep neural networks (DNNs) trained on a single task model the entire visual system surprisingly well, hinting at common computational principles across these pathways. To explore this inconsistency, we applied a novel sparse decomposition approach to identify the dominant components of visual representations within each stream. Consistent with traditional neuroscience research, we find a clear difference in component response profiles across the three visual streams -- identifying components selective for faces, places, bodies, text, and food in the ventral stream; social interactions, implied motion, and hand actions in the lateral stream; and some less interpretable components in the dorsal stream. Building on this, we introduce Sparse Component Alignment (SCA), a new method for measuring representational alignment between brains and machines that better captures the latent neural tuning of these two visual systems. Using SCA, we find that standard visual DNNs are more aligned with the ventral than either dorsal or lateral representations. SCA reveals these distinctions with greater resolution than conventional population-level geometry, offering a measure of representational alignment that is sensitive to a system's underlying axes of neural tuning.
- Abstract(参考訳): 高レベルのヒト視覚皮質における腹側、背側、側方の流れは、異なる機能過程に関係している。
しかし、ディープニューラルネットワーク(DNN)は単一のタスクモデルでトレーニングされ、視覚システム全体が驚くほどうまく機能し、これらの経路にまたがる共通の計算原理を示唆している。
この不整合性を探るため,各ストリーム内の視覚表現の主成分を特定するために,新しいスパース分解手法を適用した。
従来の神経科学研究とは対照的に、3つの視覚流の成分反応プロファイルの明確な違いは、腹側流の顔、場所、体、テキスト、食物に選択された成分を特定すること、社会的相互作用、インプリッドモーション、横側流の手の動き、そして背側流のほとんど解釈できない成分を識別することである。
これに基づいて,脳と機械間の表現的アライメントを測定する新しい手法であるSparse Component Alignment(SCA)を導入する。
SCAを用いて、標準的な視覚的DNNは背側または横方向の表現よりも腹側と整合していることがわかった。
SCAは、これらの区別を従来の人口レベルの幾何よりも高分解能で明らかにし、システムの基盤となる神経チューニングの軸に敏感な表現的アライメントの尺度を提供する。
関連論文リスト
- Uncovering Semantic Selectivity of Latent Groups in Higher Visual Cortex with Mutual Information-Guided Diffusion [19.983291706164923]
ニューラル潜伏部分空間に符号化された視覚的意味属性を可視化し、検証するMIG-Visを提案する。
2つのマカクの下側頭葉(IT)大脳皮質からのマルチセッションニューラルスパイクデータセット上でMIG-Visを検証する。
論文 参考訳(メタデータ) (2025-10-02T16:33:40Z) - Convergent transformations of visual representation in brains and models [0.0]
認知神経科学における根本的な疑問は、視覚的知覚(外界の構造や脳の内部構造)をどう形成するかである。
人間の視覚と人工視覚の両方において、外界の構造によって駆動される視覚的エンコーディングのための収束した計算解を示す。
論文 参考訳(メタデータ) (2025-07-18T14:13:54Z) - Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。
本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。
臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
論文 参考訳(メタデータ) (2024-09-18T13:40:59Z) - Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。
次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。
各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
論文 参考訳(メタデータ) (2024-05-27T21:28:26Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - A Dual-Stream Neural Network Explains the Functional Segregation of
Dorsal and Ventral Visual Pathways in Human Brains [8.24969449883056]
我々は人間の目と脳にインスパイアされたデュアルストリーム視覚モデルを開発する。
入力レベルでは、モデルは2つの相補的な視覚パターンをサンプリングする。
バックエンドでは、モデルが分離された入力パターンを畳み込みニューラルネットワークの2つのブランチを通して処理する。
論文 参考訳(メタデータ) (2023-10-20T22:47:40Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳(メタデータ) (2022-05-27T08:06:40Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳(メタデータ) (2022-04-09T16:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。