論文の概要: Multimodal neural networks better explain multivoxel patterns in the
hippocampus
- arxiv url: http://arxiv.org/abs/2201.11517v1
- Date: Sat, 11 Dec 2021 00:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-04 20:31:48.107885
- Title: Multimodal neural networks better explain multivoxel patterns in the
hippocampus
- Title(参考訳): マルチモーダルニューラルネットワークによる海馬のマルチボクセルパターンの解明
- Authors: Bhavin Choksi, Milad Mozafari, Rufin VanRullen, Leila Reddy
- Abstract要約: CLIPは、純粋な視覚的(または言語的)モデルよりも、ヒト海馬のfMRI活性をよりよく説明できるかどうかを問う。
本研究では,海馬のマルチボクセル活動を説明するネットワークの能力を評価する上で,「マルチモーダル」が重要な要素であることを示す。
- 参考スコア(独自算出の注目度): 1.8466814193413486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The human hippocampus possesses "concept cells", neurons that fire when
presented with stimuli belonging to a specific concept, regardless of the
modality. Recently, similar concept cells were discovered in a multimodal
network called CLIP (Radford et at., 2021). Here, we ask whether CLIP can
explain the fMRI activity of the human hippocampus better than a purely visual
(or linguistic) model. We extend our analysis to a range of publicly available
uni- and multi-modal models. We demonstrate that "multimodality" stands out as
a key component when assessing the ability of a network to explain the
multivoxel activity in the hippocampus.
- Abstract(参考訳): ヒト海馬は、特定の概念に属する刺激を提示された時に発火するニューロンである「コンセプション細胞」を持っている。
近年、同様の概念細胞がCLIP(Radford et at., 2021)と呼ばれるマルチモーダルネットワークで発見された。
ここでは,CLIPがヒト海馬のfMRI活性を純粋に視覚的(あるいは言語的)モデルよりもよく説明できるかどうかを問う。
我々は分析を、利用可能なユニモーダルモデルとマルチモーダルモデルに拡張する。
本研究では,海馬のマルチボクセル活動を説明するネットワークの能力を評価する上で,「マルチモーダル」が重要な要素であることを示す。
関連論文リスト
- Learning Dynamics from Multicellular Graphs with Deep Neural Networks [7.576682248778861]
グラフベースのディープニューラルネットワーク(GNN)の予測能力を利用して、ダイナミクスを予測可能な重要なグラフ機能を発見する。
我々は、piGNNがマルチセルリビングシステムの複雑なグラフ特徴をナビゲートできることを実証した。
論文 参考訳(メタデータ) (2024-01-22T18:36:29Z) - Multi-State Brain Network Discovery [37.63826758134553]
脳ネットワークは、人間の脳のfMRIスキャンからノードと平均信号を見つけることを目的としている。
通常、人間の脳は複数の活動状態を持ち、脳の活動は共同で決定される。
論文 参考訳(メタデータ) (2023-11-04T17:54:15Z) - Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文 参考訳(メタデータ) (2023-10-11T16:45:44Z) - Multimodal Neurons in Pretrained Text-Only Transformers [52.20828443544296]
視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。
マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
論文 参考訳(メタデータ) (2023-08-03T05:27:12Z) - Brain encoding models based on multimodal transformers can transfer
across language and vision [60.72020004771044]
我々は、マルチモーダルトランスフォーマーの表現を用いて、fMRI応答を物語や映画に転送できるエンコーディングモデルを訓練した。
1つのモードに対する脳の反応に基づいて訓練された符号化モデルは、他のモードに対する脳の反応をうまく予測できることがわかった。
論文 参考訳(メタデータ) (2023-05-20T17:38:44Z) - Cones: Concept Neurons in Diffusion Models for Customized Generation [41.212255848052514]
本稿では,特定の対象に対応する拡散モデルにおいて,ニューロンの小さな集合を見出す。
概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。
大規模な応用においては、ニューロンは環境に優しいため、密度の高いfloat32値ではなく、sparseクラスタのintインデックスを格納するだけである。
論文 参考訳(メタデータ) (2023-03-09T09:16:04Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。