Fugu-MT 論文翻訳(概要): Latent Representation Learning for Multimodal Brain Activity Translation

論文の概要: Latent Representation Learning for Multimodal Brain Activity Translation

arxiv url: http://arxiv.org/abs/2409.18462v1
Date: Fri, 27 Sep 2024 05:50:29 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 06:11:53.066555
Title: Latent Representation Learning for Multimodal Brain Activity Translation
Title（参考訳）: 多モード脳活動翻訳のための潜在表現学習
Authors: Arman Afrasiyabi, Dhananjay Bhaskar, Erica L. Busch, Laurent Caplette, Rahul Singh, Guillaume Lajoie, Nicholas B. Turk-Browne, Smita Krishnaswamy,
Abstract要約: 本稿では、空間的および時間的解像度ギャップをモダリティに橋渡しするSAMBA(Spatiotemporal Alignment of Multimodal Brain Activity)フレームワークを提案する。 SAMBAは、電気生理学的記録のスペクトルフィルタリングのための新しい注目ベースのウェーブレット分解を導入した。 SAMBAの学習は、翻訳の他に、脳情報処理の豊かな表現も学べることが示されている。
参考スコア（独自算出の注目度）: 14.511112110420271
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neuroscience employs diverse neuroimaging techniques, each offering distinct insights into brain activity, from electrophysiological recordings such as EEG, which have high temporal resolution, to hemodynamic modalities such as fMRI, which have increased spatial precision. However, integrating these heterogeneous data sources remains a challenge, which limits a comprehensive understanding of brain function. We present the Spatiotemporal Alignment of Multimodal Brain Activity (SAMBA) framework, which bridges the spatial and temporal resolution gaps across modalities by learning a unified latent space free of modality-specific biases. SAMBA introduces a novel attention-based wavelet decomposition for spectral filtering of electrophysiological recordings, graph attention networks to model functional connectivity between functional brain units, and recurrent layers to capture temporal autocorrelations in brain signal. We show that the training of SAMBA, aside from achieving translation, also learns a rich representation of brain information processing. We showcase this classify external stimuli driving brain activity from the representation learned in hidden layers of SAMBA, paving the way for broad downstream applications in neuroscience research and clinical contexts.
Abstract（参考訳）: 神経科学は様々な神経画像技術を用いており、それぞれが時間分解能の高い脳波などの電気生理学的記録から、空間的精度が向上したfMRIのような血行動態まで、脳活動に対する明確な洞察を与えている。しかし、これらの異種データソースを統合することは依然として課題であり、脳機能の包括的な理解を制限している。本稿では,空間的および時間的解像度のギャップをモダリティ全体に橋渡しし,モダリティ固有のバイアスのない統一潜在空間を学習するSAMBA(Spatiotemporal Alignment of Multimodal Brain Activity)フレームワークを提案する。 SAMBAは、電気生理学的記録のスペクトルフィルタリングのための新しいアテンションベースのウェーブレット分解、機能的脳ユニット間の機能的接続をモデル化するためのグラフアテンションネットワーク、脳信号の時間的自己相関を捉えるための繰り返しレイヤを導入している。 SAMBAの学習は、翻訳の他に、脳情報処理の豊かな表現も学べることが示されている。我々は、SAMBAの隠れた層で学習した脳活動の外部刺激を分類し、神経科学研究や臨床研究における幅広い下流の応用の道を開く。

関連論文リスト

Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文参考訳（メタデータ） (2024-10-25T13:15:17Z)
BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文参考訳（メタデータ） (2024-06-24T19:16:24Z)
CrEIMBO: Cross Ensemble Interactions in Multi-view Brain Observations [3.3713037259290255]
CrEIMBO (Cross-Ensemble Interactions in Multi-view Brain Observations) は、セッションごとの神経アンサンブルの構成を同定する。 CrEIMBOはセッション固有とグローバルな(セッション不変)計算を区別し、異なるサブ回路がアクティブであるかを探索する。合成データ中の真理成分を復元し、意味のある脳動力学を明らかにするCrEIMBOの能力を実証する。
論文参考訳（メタデータ） (2024-05-27T17:48:32Z)
Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文参考訳（メタデータ） (2024-05-21T20:37:07Z)
BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文参考訳（メタデータ） (2024-04-30T10:53:30Z)
NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。公開されているfMRIデータセットでテストした結果,有望な結果が得られた。このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文参考訳（メタデータ） (2024-02-02T17:34:25Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文参考訳（メタデータ） (2022-10-23T15:11:37Z)
Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文参考訳（メタデータ） (2022-10-08T12:14:33Z)
Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文参考訳（メタデータ） (2022-05-23T21:57:31Z)
Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文参考訳（メタデータ） (2022-05-06T03:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。