論文の概要: JGAT: a joint spatio-temporal graph attention model for brain decoding
- arxiv url: http://arxiv.org/abs/2306.05286v1
- Date: Sat, 3 Jun 2023 02:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-11 13:17:31.095244
- Title: JGAT: a joint spatio-temporal graph attention model for brain decoding
- Title（参考訳）: JGAT:脳復号のための同時時空間グラフアテンションモデル
- Authors: Han Yi Chiu, Liang Zhao, Anqi Wu
- Abstract要約: Joint kernel Graph Attention Network (JGAT)は、新しいマルチモーダル時間グラフアテンションネットワークフレームワークである。
ダイナミックな情報を保存しながら、機能的磁気共鳴画像(fMRI)と拡散重み画像(DWI)からのデータを統合する。
我々は4つの独立したデータセット上でJGATでブレインデコーディングタスクを行います。
- 参考スコア（独自算出の注目度）: 8.844033583141039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The decoding of brain neural networks has been an intriguing topic in
neuroscience for a well-rounded understanding of different types of brain
disorders and cognitive stimuli. Integrating different types of connectivity,
e.g., Functional Connectivity (FC) and Structural Connectivity (SC), from
multi-modal imaging techniques can take their complementary information into
account and therefore have the potential to get better decoding capability.
However, traditional approaches for integrating FC and SC overlook the
dynamical variations, which stand a great chance to over-generalize the brain
neural network. In this paper, we propose a Joint kernel Graph Attention
Network (JGAT), which is a new multi-modal temporal graph attention network
framework. It integrates the data from functional Magnetic Resonance Images
(fMRI) and Diffusion Weighted Imaging (DWI) while preserving the dynamic
information at the same time. We conduct brain-decoding tasks with our JGAT on
four independent datasets: three of 7T fMRI datasets from the Human Connectome
Project (HCP) and one from animal neural recordings. Furthermore, with
Attention Scores (AS) and Frame Scores (FS) computed and learned from the
model, we can locate several informative temporal segments and build meaningful
dynamical pathways along the temporal domain for the HCP datasets. The URL to
the code of JGAT model: https://github.com/BRAINML-GT/JGAT.
- Abstract（参考訳）: 脳のニューラルネットのデコーディングは、様々なタイプの脳疾患や認知刺激をよく理解するための神経科学において興味深い話題となっている。
機能接続性(FC)や構造接続性(SC)といった様々な種類の接続をマルチモーダルイメージング技術から統合することで、補完的な情報を考慮に入れ、より優れた復号化能力を得ることができる。
しかし、FCとSCを統合する従来のアプローチは、脳神経ネットワークを過度に一般化する大きなチャンスとなる、ダイナミックなバリエーションを見落としている。
本稿では,マルチモーダル時間グラフアテンションネットワークフレームワークであるJoint kernel Graph Attention Network (JGAT)を提案する。
機能的磁気共鳴画像(fmri)と拡散強調画像(dwi)からのデータを統合し、同時に動的情報を保存する。
我々は、ヒトコネクトームプロジェクト(hcp)の7t fmriデータセットのうち3つと動物の神経記録から1つの4つの4つの独立したデータセットで、jgatと脳デコードタスクを行います。
さらに,注意スコア (as) とフレームスコア (fs) をモデルから計算し, 学習することにより, 有意な時間的セグメントを同定し, hcpデータセットの時間領域に沿って有意義な動的経路を構築することができる。
JGATモデルのコードに対するURLは、https://github.com/BRAINML-GT/JGATである。
関連論文リスト
- MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。
これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。
本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-19T23:35:06Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - DBGDGM: Dynamic Brain Graph Deep Generative Model [63.23390833353625]
グラフは機能的磁気画像(fMRI)データから得られる脳活動の自然な表現である。
機能的接続ネットワーク(FCN)として知られる解剖学的脳領域のクラスターは、脳の機能や機能不全を理解するのに有用なバイオマーカーとなる時間的関係を符号化することが知られている。
しかし、以前の研究は脳の時間的ダイナミクスを無視し、静的グラフに焦点を当てていた。
本稿では,脳の領域を時間的に進化するコミュニティにクラスタリングし,非教師なしノードの動的埋め込みを学習する動的脳グラフ深部生成モデル(DBGDGM)を提案する。
論文 参考訳（メタデータ） (2023-01-26T20:45:30Z) - DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data
via Dynamic Graph Structure Learning [58.94034282469377]
下流予測タスクによって誘導されるfMRIデータの最適時間変化依存性構造を学習する新しい手法であるDynDepNetを提案する。
実世界のfMRIデータセットの実験は、性別分類のタスクにおいて、DynDepNetが最先端の結果を達成することを実証している。
論文 参考訳（メタデータ） (2022-09-27T16:32:11Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳（メタデータ） (2022-05-23T21:57:31Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Modeling Spatio-Temporal Dynamics in Brain Networks: A Comparison of
Graph Neural Network Architectures [0.5033155053523041]
グラフニューラルネットワーク(GNN)は、新しい構造化グラフ信号の解釈を可能にする。
基板上の局所的な機能的相互作用を学習することにより、GNNベースのアプローチが大規模ネットワーク研究に堅牢に拡張可能であることを示す。
論文 参考訳（メタデータ） (2021-12-08T12:57:13Z) - Learning Dynamic Graph Representation of Brain Connectome with
Spatio-Temporal Attention [33.049423523704824]
本稿では,脳コネクトームの動的グラフ表現を時間的注意とともに学習するSTAGINを提案する。
HCP-RestとHCP-Taskデータセットの実験は,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2021-05-27T23:06:50Z) - A Graph Neural Network Framework for Causal Inference in Brain Networks [0.3392372796177108]
神経科学における中心的な問題は、脳内の自律的な動的相互作用が、比較的静的なバックボーンにどのように現れるかである。
構造解剖学的レイアウトに基づく機能的相互作用を記述するグラフニューラルネットワーク(GNN)フレームワークを提案する。
我々は,GNNがデータの長期的依存関係をキャプチャし,大規模ネットワークの解析までスケールアップ可能であることを示す。
論文 参考訳（メタデータ） (2020-10-14T15:01:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。