Fugu-MT 論文翻訳(概要): Multimodal neural networks better explain multivoxel patterns in the hippocampus

論文の概要: Multimodal neural networks better explain multivoxel patterns in the hippocampus

arxiv url: http://arxiv.org/abs/2201.11517v1
Date: Sat, 11 Dec 2021 00:15:12 GMT
ステータス: 処理完了
システム内更新日: 2023-03-04 20:31:48.107885
Title: Multimodal neural networks better explain multivoxel patterns in the hippocampus
Title（参考訳）: マルチモーダルニューラルネットワークによる海馬のマルチボクセルパターンの解明
Authors: Bhavin Choksi, Milad Mozafari, Rufin VanRullen, Leila Reddy
Abstract要約: CLIPは、純粋な視覚的(または言語的)モデルよりも、ヒト海馬のfMRI活性をよりよく説明できるかどうかを問う。本研究では,海馬のマルチボクセル活動を説明するネットワークの能力を評価する上で,「マルチモーダル」が重要な要素であることを示す。
参考スコア（独自算出の注目度）: 1.8466814193413486
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The human hippocampus possesses "concept cells", neurons that fire when presented with stimuli belonging to a specific concept, regardless of the modality. Recently, similar concept cells were discovered in a multimodal network called CLIP (Radford et at., 2021). Here, we ask whether CLIP can explain the fMRI activity of the human hippocampus better than a purely visual (or linguistic) model. We extend our analysis to a range of publicly available uni- and multi-modal models. We demonstrate that "multimodality" stands out as a key component when assessing the ability of a network to explain the multivoxel activity in the hippocampus.
Abstract（参考訳）: ヒト海馬は、特定の概念に属する刺激を提示された時に発火するニューロンである「コンセプション細胞」を持っている。近年、同様の概念細胞がCLIP(Radford et at., 2021)と呼ばれるマルチモーダルネットワークで発見された。ここでは,CLIPがヒト海馬のfMRI活性を純粋に視覚的(あるいは言語的)モデルよりもよく説明できるかどうかを問う。我々は分析を、利用可能なユニモーダルモデルとマルチモーダルモデルに拡張する。本研究では,海馬のマルチボクセル活動を説明するネットワークの能力を評価する上で,「マルチモーダル」が重要な要素であることを示す。

関連論文リスト

MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
論文参考訳（メタデータ） (2025-02-03T08:50:00Z)
BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
論文参考訳（メタデータ） (2024-12-23T09:13:35Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
Multi-State Brain Network Discovery [37.63826758134553]
脳ネットワークは、人間の脳のfMRIスキャンからノードと平均信号を見つけることを目的としている。通常、人間の脳は複数の活動状態を持ち、脳の活動は共同で決定される。
論文参考訳（メタデータ） (2023-11-04T17:54:15Z)
Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文参考訳（メタデータ） (2023-10-11T16:45:44Z)
Cones: Concept Neurons in Diffusion Models for Customized Generation [41.212255848052514]
本稿では,特定の対象に対応する拡散モデルにおいて,ニューロンの小さな集合を見出す。概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。大規模な応用においては、ニューロンは環境に優しいため、密度の高いfloat32値ではなく、sparseクラスタのintインデックスを格納するだけである。
論文参考訳（メタデータ） (2023-03-09T09:16:04Z)
Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文参考訳（メタデータ） (2022-08-17T12:36:26Z)
Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文参考訳（メタデータ） (2022-05-06T03:45:36Z)
Ensemble manifold based regularized multi-modal graph convolutional network for cognitive ability prediction [33.03449099154264]
マルチモーダル機能磁気共鳴イメージング(fMRI)を使用して、脳の接続ネットワークに基づいて個々の行動特性および認知特性を予測することができます。本稿では,fMRI時系列と各脳領域間の機能接続(FC)を組み込んだ,解釈可能な多モードグラフ畳み込みネットワーク(MGCN)モデルを提案する。我々は、フィラデルフィア神経開発コホート上のMGCNモデルを検証し、個々の広範囲達成テスト(WRAT)スコアを予測します。
論文参考訳（メタデータ） (2021-01-20T20:53:07Z)
M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文参考訳（メタデータ） (2020-06-01T05:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。