論文の概要: Identifying Shared Decodable Concepts in the Human Brain Using
Image-Language Foundation Models
- arxiv url: http://arxiv.org/abs/2306.03375v1
- Date: Tue, 6 Jun 2023 03:29:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 17:33:17.788245
- Title: Identifying Shared Decodable Concepts in the Human Brain Using
Image-Language Foundation Models
- Title（参考訳）: 画像言語基盤モデルを用いたヒト脳における識別可能概念の同定
- Authors: Cory Efird, Alex Murphy, Joel Zylberberg, Alona Fyshe
- Abstract要約: 高品質な事前学習型マルチモーダル表現を利用して、人間の脳内のきめ細かいセマンティックネットワークを探索する手法を提案する。
このような脳の領域を特定するために,我々は,大規模な機能的磁気共鳴画像(fMRI)データセットからデオード可能な視覚概念を明らかにするために,データ駆動型アプローチを開発した。
- 参考スコア（独自算出の注目度）: 2.213723689024101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a method that takes advantage of high-quality pretrained
multimodal representations to explore fine-grained semantic networks in the
human brain. Previous studies have documented evidence of functional
localization in the brain, with different anatomical regions preferentially
activating for different types of sensory input. Many such localized structures
are known, including the fusiform face area and parahippocampal place area.
This raises the question of whether additional brain regions (or conjunctions
of brain regions) are also specialized for other important semantic concepts.
To identify such brain regions, we developed a data-driven approach to uncover
visual concepts that are decodable from a massive functional magnetic resonance
imaging (fMRI) dataset. Our analysis is broadly split into three sections.
First, a fully connected neural network is trained to map brain responses to
the outputs of an image-language foundation model, CLIP (Radford et al., 2021).
Subsequently, a contrastive-learning dimensionality reduction method reveals
the brain-decodable components of CLIP space. In the final section of our
analysis, we localize shared decodable concepts in the brain using a
voxel-masking optimization method to produce a shared decodable concept (SDC)
space. The accuracy of our procedure is validated by comparing it to previous
localization experiments that identify regions for faces, bodies, and places.
In addition to these concepts, whose corresponding brain regions were already
known, we localize novel concept representations which are shared across
participants to other areas of the human brain. We also demonstrate how this
method can be used to inspect fine-grained semantic networks for individual
participants. We envisage that this extensible method can also be adapted to
explore other questions at the intersection of AI and neuroscience.
- Abstract（参考訳）: 高品質な事前学習型マルチモーダル表現を利用して、人間の脳内のきめ細かいセマンティックネットワークを探索する手法を提案する。
以前の研究では、脳内の機能的局在の証拠が記録されており、様々な解剖学的領域が様々な種類の感覚入力に優先的に活性化している。
このような局所的な構造は、ファシフォーム・フェイス・エリアやパラヒッポカンプス・プレイス・エリアなど、多く知られている。
これは、追加の脳領域(または脳領域の結合)が他の重要な意味概念に特化しているかどうかという問題を提起する。
このような脳領域を特定するため,我々は,fMRIデータセットからデオード可能な視覚概念を明らかにするためのデータ駆動型アプローチを開発した。
我々の分析はおおむね3つのセクションに分けられる。
まず、完全に接続されたニューラルネットワークを使用して、画像言語基盤モデルの出力であるCLIP(Radford et al., 2021)に脳の反応をマッピングする。
その後、対照的な学習次元減少法により、CLIP空間の脳分解性成分が明らかにされる。
分析の最終章では、ボクセル・マスキング最適化法を用いて脳内の共有デオード可能な概念を局所化し、共有デオード可能な概念(SDC)空間を生成する。
この方法の精度は, 顔, 体, 場所の領域を識別する以前の局所化実験と比較することにより検証される。
対応する脳領域がすでに知られているこれらの概念に加えて、参加者間で共有される新しい概念表現を、人間の脳の他の領域にローカライズする。
また,この手法を用いて個々の参加者の詳細なセマンティックネットワークを検査する方法を示す。
我々は、この拡張可能な手法が、AIと神経科学の交差点で他の質問にも適用できると考えている。
関連論文リスト
- Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。
具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。
知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
論文 参考訳（メタデータ） (2024-07-31T04:32:43Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。
次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。
各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
論文 参考訳（メタデータ） (2024-05-27T21:28:26Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - Semantic Brain Decoding: from fMRI to conceptually similar image
reconstruction of visual stimuli [0.29005223064604074]
本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。
我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。
視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
論文 参考訳（メタデータ） (2022-12-13T16:54:08Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Emotional EEG Classification using Connectivity Features and
Convolutional Neural Networks [81.74442855155843]
CNNと脳のつながりを利用した新しい分類システムを導入し,その効果を感情映像分類により検証する。
対象映像の感情的特性に関連する脳接続の集中度は分類性能と相関する。
論文 参考訳（メタデータ） (2021-01-18T13:28:08Z) - Convolutional Neural Networks for cytoarchitectonic brain mapping at
large scale [0.33727511459109777]
今回我々は,ヒト後脳の多数の細胞体染色組織における細胞構造学的領域をマッピングするための新しいワークフローを提案する。
これはDeep Convolutional Neural Network (CNN)に基づいており、アノテーション付きの一対のセクションイメージに基づいてトレーニングされており、その間に多数の注釈のないセクションがある。
新しいワークフローは、セクションの3D再構成を必要とせず、組織学的アーティファクトに対して堅牢である。
論文 参考訳（メタデータ） (2020-11-25T16:25:13Z) - CANet: Context Aware Network for 3D Brain Glioma Segmentation [33.34852704111597]
そこで我々は,脳神経グリオーマセグメンテーションのためのコンテキスト・アウェア・ネットワーク(CANet)という新しいアプローチを提案する。
CANetは、畳み込み空間と特徴相互作用グラフの両方からコンテキストを持つ高次元および差別的な特徴をキャプチャする。
BRATS 2017, BRATS 2018 および BRATS 2019 を用いて脳神経グリオーマ分節データセットを用いて本手法の評価を行った。
論文 参考訳（メタデータ） (2020-07-15T16:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。