論文の概要: Finding Shared Decodable Concepts and their Negations in the Brain

• arxiv url: http://arxiv.org/abs/2405.17663v2
• Date: Tue, 01 Oct 2024 09:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:18.112896
• Title: Finding Shared Decodable Concepts and their Negations in the Brain
• Title（参考訳）: 共有可能な概念の発見と脳内否定
• Authors: Cory Efird, Alex Murphy, Joel Zylberberg, Alona Fyshe,
• Abstract要約: 我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
• 参考スコア（独自算出の注目度）: 4.111712524255376
• License:
• Abstract: Prior work has offered evidence for functional localization in the brain; different anatomical regions preferentially activate for certain types of visual input. For example, the fusiform face area preferentially activates for visual stimuli that include a face. However, the spectrum of visual semantics is extensive, and only a few semantically-tuned patches of cortex have so far been identified in the human brain. Using a multimodal (natural language and image) neural network architecture (CLIP) we train a highly accurate contrastive model that maps brain responses during naturalistic image viewing to CLIP embeddings. We then use a novel adaptation of the DBSCAN clustering algorithm to cluster the parameters of these participant-specific contrastive models. This reveals what we call Shared Decodable Concepts (SDCs): clusters in CLIP space that are decodable from common sets of voxels across multiple participants. Examining the images most and least associated with each SDC cluster gives us additional insight into the semantic properties of each SDC. We note SDCs for previously reported visual features (e.g. orientation tuning in early visual cortex) as well as visual semantic concepts such as faces, places and bodies. In cases where our method finds multiple clusters for a visuo-semantic concept, the least associated images allow us to dissociate between confounding factors. For example, we discovered two clusters of food images, one driven by color, the other by shape. We also uncover previously unreported areas such as regions of extrastriate body area (EBA) tuned for legs/hands and sensitivity to numerosity in right intraparietal sulcus, and more. Thus, our contrastive-learning methodology better characterizes new and existing visuo-semantic representations in the brain by leveraging multimodal neural network representations and a novel adaptation of clustering algorithms.
• Abstract（参考訳）: 以前の研究は脳の機能的な局在を示す証拠を提供しており、特定の視覚入力に対して異なる解剖学的領域が優先的に活性化している。 例えば、ファシフォーム顔領域は、顔を含む視覚刺激に対して優先的に活性化される。 しかし、視覚的意味論のスペクトルは広く、これまでヒトの脳では、いくつかの意味的に調整された大脳皮質のパッチしか特定されていない。 マルチモーダル(自然言語と画像)ニューラルネットワークアーキテクチャ(CLIP)を用いて、自然な画像視聴中に脳の反応をCLIP埋め込みにマッピングする極めて正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、これらの参加者固有のコントラストモデルパラメータをクラスタリングする。 これは私たちがShared Deodable Concepts(SDC)と呼んでいるものを明らかにします。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。 これまでに報告された視覚的特徴(例えば、初期視覚野の方向調整)と、顔、場所、身体などの視覚的意味概念について、SDCに言及する。 提案手法がビジュオ・セマンティックな概念に対して複数のクラスタを見つける場合,最も関連の少ない画像は,共起因子間の解離を可能にする。 例えば、私たちは2つの食品画像群を発見し、1つは色によって駆動され、もう1つは形状によって駆動される。 また, 足・手に合わせて調整された体外領域 (EBA) の領域や, 右頭頂葉内サルクスの特異性などの未報告領域も明らかにした。 このように、我々は、マルチモーダルニューラルネットワーク表現とクラスタリングアルゴリズムの新たな適応を活用して、脳内の新しい、既存のビズーセマンティック表現をよりよく特徴付ける。

関連論文リスト

• Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
  本稿では,脳内視覚概念を分離するBrainSAILを紹介する。 BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。 カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
  論文  参考訳（メタデータ） (2024-10-07T17:59:45Z)
• Parallel Backpropagation for Shared-Feature Visualization [36.31730251757713]
  最近の研究は、いくつかのカテゴリー外刺激が高レベルの視覚脳領域のニューロンを活性化することを示した。 これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。 本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-16T05:56:03Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Identifying Shared Decodable Concepts in the Human Brain Using Image-Language Foundation Models [2.213723689024101]
  高品質な事前学習型マルチモーダル表現を利用して、人間の脳内のきめ細かいセマンティックネットワークを探索する手法を提案する。 このような脳の領域を特定するために,我々は,大規模な機能的磁気共鳴画像(fMRI)データセットからデオード可能な視覚概念を明らかにするために,データ駆動型アプローチを開発した。
  論文  参考訳（メタデータ） (2023-06-06T03:29:47Z)
• Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli [0.29005223064604074]
  本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。 我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。 視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
  論文  参考訳（メタデータ） (2022-12-13T16:54:08Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• Peripheral Vision Transformer [52.55309200601883]
  我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。 本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。 大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
  論文  参考訳（メタデータ） (2022-06-14T12:47:47Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Grounding Psychological Shape Space in Convolutional Neural Networks [0.0]
  我々は畳み込みニューラルネットワークを用いて、知覚入力間の一般化可能なマッピングと、最近提案された形状領域の心理学的類似性空間を学習する。 この結果から,分類に基づくマルチタスク学習シナリオが最も優れた結果が得られるが,その性能は類似性空間の次元に比較的敏感であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-16T12:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。