論文の概要: BrainSymphony: A Transformer-Driven Fusion of fMRI Time Series and Structural Connectivity

• arxiv url: http://arxiv.org/abs/2506.18314v1
• Date: Mon, 23 Jun 2025 06:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.872226
• Title: BrainSymphony: A Transformer-Driven Fusion of fMRI Time Series and Structural Connectivity
• Title（参考訳）: BrainSymphony:fMRI時系列と構造接続性のトランスフォーマー駆動融合
• Authors: Moein Khajehnejad, Forough Habibollahi, Adeel Razi,
• Abstract要約: BrainSymphonyは、ニューロイメージングのための軽量でパラメータ効率の良い基礎モデルである。 かなり小さなパブリックデータセットで事前トレーニングされた状態で、最先端のパフォーマンスを実現する。 BrainSymphonyは、アーキテクチャを意識したマルチモーダルモデルがより大きなモデルを上回る可能性があることを証明している。
• 参考スコア（独自算出の注目度）: 2.3486335708866606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing foundation models for neuroimaging are often prohibitively large and data-intensive. We introduce BrainSymphony, a lightweight, parameter-efficient foundation model that achieves state-of-the-art performance while being pre-trained on significantly smaller public datasets. BrainSymphony's strong multimodal architecture processes functional MRI data through parallel spatial and temporal transformer streams, which are then efficiently distilled into a unified representation by a Perceiver module. Concurrently, it models structural connectivity from diffusion MRI using a novel signed graph transformer to encode the brain's anatomical structure. These powerful, modality-specific representations are then integrated via an adaptive fusion gate. Despite its compact design, our model consistently outperforms larger models on a diverse range of downstream benchmarks, including classification, prediction, and unsupervised network identification tasks. Furthermore, our model revealed novel insights into brain dynamics using attention maps on a unique external psilocybin neuroimaging dataset (pre- and post-administration). BrainSymphony establishes that architecturally-aware, multimodal models can surpass their larger counterparts, paving the way for more accessible and powerful research in computational neuroscience.
• Abstract（参考訳）: 既存のニューロイメージングの基礎モデルは、しばしば大きめでデータ集約的である。 我々はBrainSymphonyを紹介した。これは軽量でパラメータ効率の良い基礎モデルで、非常に小さな公開データセットで事前トレーニングしながら最先端のパフォーマンスを実現する。 BrainSymphonyの強力なマルチモーダルアーキテクチャは、並列空間および時間変換器ストリームを介して機能的なMRIデータを処理し、Perceiverモジュールによって効率よく統一された表現に抽出する。 同時に、新しい署名付きグラフ変換器を使用して拡散MRIから構造的接続をモデル化し、脳の解剖学的構造を符号化する。 これらの強力でモジュラリティ固有の表現は、適応的な融合ゲートを介して統合される。 そのコンパクトな設計にもかかわらず、我々のモデルは、分類、予測、教師なしネットワーク識別タスクを含む様々なダウンストリームベンチマークにおいて、ずっと大きなモデルより優れています。 さらに,本モデルでは,独自の外部シロシビンニューロイメージングデータセット(前・後管理)の注意マップを用いて,脳のダイナミックスに関する新たな知見を明らかにした。 BrainSymphonyは、アーキテクチャを意識したマルチモーダルモデルがより大きなモデルを超える可能性があることを証明し、計算神経科学におけるよりアクセスしやすく強力な研究の道を開く。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Brain Network Diffusion-Driven fMRI Connectivity Augmentation for Enhanced Autism Spectrum Disorder Diagnosis [12.677178802864029]
  fMRIデータ取得とラベル付けのコストが高いため、fMRIデータの量は少ないことが多い。 生成モデル、特に拡散モデルの増加に伴い、実際のデータ分布に近い現実的なサンプルを生成する能力は、データ拡張に広く利用されている。
  論文  参考訳（メタデータ） (2024-09-11T08:02:57Z)
• Hierarchical Spatio-Temporal State-Space Modeling for fMRI Analysis [1.89314691075208]
  実験結果から,脳の分類と回帰作業におけるFST-Mambaモデルの有効性が示唆された。 我々の研究は、脳発見における注意のないシーケンスモデリングの可能性を明らかにしている。
  論文  参考訳（メタデータ） (2024-08-23T13:58:14Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。